Hadoop的学习前奏(二)——Hadoop集群的配置

原创 2015年07月24日 19:17:58

前言:

  Hadoop集群的配置即完全分布式Hadoop配置。


笔者的环境:

  Linux:  CentOS 6.6(Final) x64
  JDK:    java version "1.7.0_75"
          OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
          OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
  SSH:    OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
  Hadoop: hadoop-1.2.1


步骤:

注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop,请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。


1.首先在三台主机上创建相同的用户


2.在三台主机上分别设置/etc/hosts和/etc/hostname

  $ vim /etc/hosts

  

  $ vim /etc/hostname

  


3.在这三台主机上安装OpenSSH,并配置SSH可以免密码登录。

  关于在单机上进行免密码登录的部分,我在上一篇博客中有详细说明。如果你的配置出了问题以致无法免密码登录,上一篇博客中有具体的做法,这里不再赘述。

  将master中的authorized_keys复制给两台slave,做法如下:

  $ scp authorized_keys slave1:~/.ssh/

  $ scp authorized_keys slave2:~/.ssh/


4.配置三台主机的Hadoop文件。

  $ vim core-site.xml

  


  $ vim hdfs-site.xml

  


  $ vim mapred-site.xml

  


  $ vim masters

  


  $ vim slaves

  

  至此,Hadoop的配置已基本完成,你可以通过


5.启动Hadoop

  bin/hadoop namenode -format

  bin/start-all.sh


6.验证

  你可以通过以下命令或是通过访问http://master:50030和http://master:50070查看集群状态

  hadoop dfsadmin -report


版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop学习之hadoop2.8.0完全分布式集群安装

转载自:http://blog.csdn.net/peace1213/article/details/51334508 本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的...
  • Happy_wu
  • Happy_wu
  • 2017年04月19日 14:28
  • 11604

Hadoop集群安装配置实验

一、环境 四台 VirtualBox上的Linux虚机,每台硬盘20G,内存768M。 IP与主机名: 192.168.56.101 master 192.168.56.102 slave1 ...
  • wzy0623
  • wzy0623
  • 2016年02月17日 17:12
  • 3122

基于Hadoop集群的大规模分布式深度学习

本文转载自:http://www.csdn.net/article/2015-10-01/2825840 摘要:基于Hadoop的深度学习是深度学习的一个创新方法。基于Hadoop的...
  • woaitingting1985
  • woaitingting1985
  • 2017年05月04日 15:44
  • 258

淘宝Hadoop集群机器硬件配置及使用场景

 国内外使用Hadoop的公司比较多,全球最大的Hadoop集群在雅虎,有大约25000个节点,主要用于支持广告系统与网页搜索。国内用Hadoop的主要有百度、淘宝、腾讯、华为、中国移动等,其中...
  • BabyFish13
  • BabyFish13
  • 2016年06月30日 17:51
  • 939

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016年10月27日 16:12
  • 18753

生产环境下hadoop集群配置之DNS配置实验

一、实验环境: Mac os 下 VirtualBox中三台安装centos 6.3虚拟机 主机名 别名 IP地址 系统版本 角色 lhmaster lhm...
  • LIHUINIHAO
  • LIHUINIHAO
  • 2013年12月18日 15:35
  • 1563

Hadoop集群(第7期)_Eclipse开发环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Had...
  • u014677702
  • u014677702
  • 2016年11月22日 21:45
  • 581

Hadoop集群安装与配置

本文介绍Hadoop在两个节点上的安装与配置即一个master和一个slave,安装版本为2.2.0,该版本及以上版本的安装方式几乎一致。本文安装的方式并非高可靠的,是最简单的安装,适合于初学者作为学...
  • u013468917
  • u013468917
  • 2016年03月23日 19:41
  • 732

hadoop集群部署(yarn)

伴随着各大互联网公司开源自己的大数据框架,大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase(后来换成了elasticsearch)、zookeeper、kafka、stor...
  • conansix
  • conansix
  • 2016年03月31日 17:51
  • 1481

从VMware虚拟机安装到hadoop集群环境配置详细说明

从VMware虚拟机安装到到hadoop集群环境配置详细说明
  • whaoXYSH
  • whaoXYSH
  • 2014年01月02日 14:24
  • 11435
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop的学习前奏(二)——Hadoop集群的配置
举报原因:
原因补充:

(最多只允许输入30个字)