Hadoop集群的搭建

最新推荐文章于 2024-04-27 23:53:24 发布
最新推荐文章于 2024-04-27 23:53:24 发布
阅读量1.2k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36143300/article/details/54982587
版权

搭建6个节点的Hadoop集群

节点

在实验室192.168.100.20:8006，用户名：root，密码：**，申请了6个节点，分别是：

192.168.101.44  #主节点
192.168.101.45  #节点1
192.168.101.46  #节点2
192.168.101.47  #节点3
192.168.101.48  #节点4
192.168.101.49  #节点4
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

网络基本配置

255.255.254.0    #子网掩码
192.168.100.1    #网关
233.6.6.6        #使用阿里的DNS或者233.8.8.8
 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3

各个节点的初始用户名均是：zhujunpeng，密码均是：***，在配置Hadoop集群时，新创建了hadoop用户，下面会讲这个过程。

安装操作系统

安装操作系统（centos 7）中注意三点：

  1. 请安装Development版本的操作系统，我安装的是Centos 7的Development版本。
  2. 请使用固定ip地址，因为整个集群将使用网络进行通讯，ip地址是他们进行通讯的关键。
  3. 在配置网络的过程中采用的是 muanul（手动设置），不要使用动态分配，这样不利用集群节点之间的通信
工具介绍

在整个操作的过程中未了方便，我将使用两种工具：

  • SecureCRT，该工具能够方便的与Linux系统进行交互，不用每次都在不同的虚拟机界面下切换，方便管理，如果没有呀用过该工具，请自行谷歌安装并学会使用，该工具需要破解，网上有很多破解的教程。
  • WinSCP，这是一个FTP工具，用于不通操作系统时间的文件传输，当然在我的应用中只涉及到了Windows向Centos系统传输已经下载好的hadoop安装包和JDK，传输速度快。
创建hadoop用户

如果你安装hadoop时不是采用“hadoop”用户，那么需要增加一个名为hadoop的用户（安装集群时形成习惯，每个集群都是用自己的用户名和密码，方便管理），密码也为hadoop，首先打开终端，在终端中输入：

su  #切换成root用户登录
 
 
  • 1

 
 
  • 1

输入密码之后，进入root权限，接着在终端中输入：

useradd -m hadoop -G root -s /bin/bash  #创建用户hadoop，使用/bin/bash作为shell
 
 
  • 1

 
 
  • 1

接着使用下面的命令修改密码，提示输入两次密码，可简单的设为“hadoop”(密码随意指定，若提示“无效的密码，过于简单”，不用理会，再次输入确认即可)。

passwd hadoop #该条命令设置hadoop用户的密码,输入此命令后会出现一个输入密码的提示，输入即可，但是不会在终端中显示你的密码，会让你再次确认你的密码
 
 
  • 1

 
 
  • 1

可以为hadoop用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，在终端中输入：

visudo  #该命令会打开一个编辑文件，在其中的98行进行操作
 
 
  • 1

 
 
  • 1

打开这个文件之后，在文件的98行会看见如下的一条命令：

root   ALL=(ALL)   ALL
hadoop ALL=(ALL)   ALL  #在上面一条命令的后面增加这条命令，意思是为hadoop用户增加管理员权限
 
 
  • 1
  • 2

 
 
  • 1
  • 2

另外一种比较常用的设置管理员权限的方法是：

vim /etc/sudoers  #依然是在第98行之后添加上面的命令
 
 
  • 1

 
 
  • 1
准备工作

使用hadoop用户登陆后，还需要安装几个软件才能安装hadoop，Centos采用的是yum来安装软件，需要联网环境，请检查你的操作系统是否已经连接网络，连接网络之后，需要安装ssh和Java环境。

安装SSH、配置SSH无密码登陆

首先检查是否已经安装ssh，在终端中输入：

rpm -qa | grep ssh
 
 
  • 1

 
 
  • 1

在返回的结果中如果有clients和server说明已经安装成功，如果安装没有成功，在终端中输入：

sudo yum install openssh-clients
sudo yum install openssh-server
 
 
  • 1
  • 2

 
 
  • 1
  • 2

接着用下面的命令测试ssh是否可用，在终端中输入:

ssh localhost
 
 
  • 1

 
 
  • 1

但是仅仅这样登陆的话，每次都是需要密码的，我们需要配置ssh无密码登陆方式才比较方便，在终端中输入下面的命令：

cd ~/.ssh/  #若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa #会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys #加入授权
chmod 600 ./authorized_keys  #修改文件的权限
 
 
  • 1
  • 2
  • 3
  • 4

 
 
  • 1
  • 2
  • 3
  • 4

增加了上述的操作之后，再次使用ssh localhost命令，无需密码就能直接登录了。

安装Java环境

首先下载相应版本的JDK，我推荐sun公司发行的JDK，并且在当前生态环境下使用JDK 1.7就够了，我的计算机中使用的是：jdk-7u79-Linux-x64.tar.gz（实验室一直使用这哥版本的JDK）。并且放在”/home/hadoop(即~)”中。注意hadoop用户必须有管理员权限，因为下面的操作全部都包含sudo操作，前面已经设置过，在传输文件时用WinSCP前面已经介绍过这种工具。

#解压JDK压缩包
$ sudo tar -zxvf jdk-7u79-linux-x64.tar.gz  #在解压的过程中并没有给出应该讲解压的文件放在哪里，原因是本身这个压缩包里面就有一个名为jdk-7u79-linux的文件夹

#复制JDK文件夹到/usr/lib/jvm目录中
$ sudo cp -r ~/jdk1.7.0_79/ /usr/lib/jvm   #Centos 7的java安装包都放在这里

#配置环境变量
$ sudo vim /etc/profile
#在末尾加上：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79  #只加这个环境变量远远不够，在本文结束部分，会给出配置hadoop必须加的所有环境变量

#然后保存关闭，使用source命令更新下
$ source /etc/profile
#使用env命令查看JAVA_HOME环境变量的值
$ env
#如果JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79，说明配置成功。

#修改系统默认的JDK
$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_79/bin/java 300

$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_79/bin/javac 300

$ sudo update-alternatives --config java #输入/usr/lib/jvm/jdk1.7.0_79/bin/java前面的数字就可以了

$ sudo update-alternatives --config javac #输入/usr/lib/jvm/jdk1.7.0_79/bin/javac前的数字就好了

#查看是否安装成功
$ java
$ javac
$ java -version

#删除冗余文件，该操作在“/home/hadoop”下进行
$ sudo rm -rf jdk1.7.0_79/
$ sudo rm -rf jdk-7u79-linux-x64.tar.gz
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
在各个节点上安装hadoop 2.7.2稳定版

可用从apache官网下载最新版本的hadoop，但是请下载稳定版。下载时请下载hadoop-2.x.x.tar.gz这个格式的文件，这是编译好的文件，另一个包含src的文件时是hadoop源代码，需要进行编译才能使用。在Windows上下载好hadoop的安装包，使用WinSCP将其传入”/home/hadoop”中，接着进行下面的过程。

$ sudo tar -zxf /home/hadoop/hadoop-2.7.2.tar.gz -C /usr/local #解压到/usr/local中
$ cd /usr/local/  
$ sudo mv ./hadoop-2.7.2/ ./hadoop #将文件夹命名改为hadoop
$ sudo chown -R hadoop:hadoop ./hadoop #修改文件权限

#hadoop解压后即可使用，输入如下命令来检查hadoop是否可用，成功则会显示hadoop版本信息。
$ cd /usr/local/hadoop
$ ./bin/hadoop version
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
测试实例看单节点是否成功配置

hadoop默认模式为非分布式，无需进行其他的配置即可运行，非分布式即单java进程，方便进行调试。现在我们可以执行例子来感受一下hadoop的运行。hadoop附带了丰富的例子（运行./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.2.jar可以看到所有的例子），包括wordcount、terasort、join、grep等。在此我们选择运行grep的例子，我们将input文件夹中的所有文件作为输入，筛选当中符合正则表达式dfs[a-z.]+的单词并统计出现的次数，最后输出结果到output文件夹中。

$ cd /usr/local/hadoop
$ mkdir ./input
$ cp ./etc/hadoop/*.xml ./input  #将配置文件作为输入文件
$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input  ./output  'dfs[a-z.]+'
cat ./output/*  #查看运行结果
 
 
  • 1
  • 2
  • 3
  • 4
  • 5

 
 
  • 1
  • 2
  • 3
  • 4
  • 5

上述代码的运行结果为：

1 dfsadmin #注意hadoop不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将`./output`删除
 
 
  • 1

 
 
  • 1

输入下面的命令：

rm -rf ./output
 
 
  • 1

 
 
  • 1
集群生态系统之间互相通信-网络配置

首先应该保证集群在同一个局域网，如果使用的是虚拟机安装的系统，需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点之间的互联。

  • 修改主机名：hostname
$ sudo vim /etc/hostname #修改节点的名字，我的节点一次为：Master、Slave1、Slave2、Slave3、Slave4  
$ 在打开的文件中依次写入Master、Slave1、Slave2、Slave3、Slave4，如果有其他的内容全部删除hostname只出现Master、Slave1、Slave2、Slave3、Slave4，该名字用来标识你所使用的计算机
 
 
  • 1
  • 2

 
 
  • 1
  • 2
  • 修改/etc/hosts文件
$ sudo vim /etc/hosts #修改IP映射关系
 
 
  • 1

 
 
  • 1

打开后出现下面的内容,如果有其他的内容，删除它，那些信息并没有什么用：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #ipv4地址，不能删除
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6  #ipv6地址，不能删除
 
 
  • 1
  • 2

 
 
  • 1
  • 2

在打开的/etc/hosts文件后面追加下面的内容：

#在打开的文件中写入下面的内容
192.168.101.44 Master
192.168.101.45 Slave1
192.168.101.46 Slave2
192.168.101.47 Slave3
192.168.101.48 Slave4
192.168.101.49 Slave5
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

完成上述操作之后，ping一下看是否能联通

ping Master -c 3 #只ping3次
ping Slave1 -c 3
ping Slave2 -c 3
ping Slave3 -c 3
ping Slave4 -c 3 
ping Slave5 -c 3
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

修改完成后，需要重新启动一下(exit即可，只是重启终端，并不需要重启操作系统)，重启后在终端中才能看到机器名的变化。后面的操作请注意区分Master和Slave节点的操作。

ssh无密码登陆节点

这个操作是让Master节点可以无密码ssh登陆到各个Slave节点上，首先生成Master节点的公钥，在Master节点的终端执行（因为改过主机名，所以还需要删掉原来有的重新生成一次，凡是修改了Master节点的内容，都要执行此步进行更新公钥，当然会对后续的过程有影响，请更改有影响的步骤，也就是进行redo操作）。

# 在Master节点上执行下面所有的命令
$ cd ~/.ssh      #如果没有该目录，先执行一次ssh localhost
$ rm ./id_rsa*    #删除之前生成的公钥
$ ssh-keygen -t rsa   #一直按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys #让Master节点能首先无密码ssh登陆本机，在Master执行该命令
$ ssh Master  #验证是否能成功的登陆本机
$ scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop #scp是Secure Copy的简写，用于在Linux下进行远程拷贝文件，类似于cp命令，不过cp只能在本机中拷贝，执行scp时会要求输入Slave1节点上hadoop用户的密码（hadoop），输入完成后会提示传输完毕。
$ scp ~/.ssh/id_rsa.pub hadoop@Slave2:/home/hadoop #传入2号节点
$ scp ~/.ssh/id_rsa.pub hadoop@Slave3:/home/hadoop #传入3号节点
$ scp ~/.ssh/id_rsa.pub hadoop@Slave4:/home/hadoop #传入4号节点
$ scp ~/.ssh/id_rsa.pub hadoop@Slave5:/home/hadoop #传入5号节点

#在各个子节点上将ssh公钥介入授权
$ cat ~/id_rsa.pub  >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub  #用完就可以删掉了

#接着在Slave1节点上将ssh公钥添加到授权中
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys #在Slave1节点上执行
$ rm ./id_rsa.pub #用完删掉

#接着在Slave2节点上将ssh公钥添加到授权中
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys #在Slave2节点上执行
$ rm ./id_rsa.pub #用完删掉

#接着在Slave3节点上将ssh公钥添加到授权中
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys #在Slave3节点上执行
$ rm ./id_rsa.pub #用完删掉

#接着在Slave4节点上将ssh公钥添加到授权中
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys #在Slave4节点上执行
$ rm ./id_rsa.pub #用完删掉

#接着在Slave5节点上将ssh公钥添加到授权中
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys #在Slave5节点上执行
$ rm ./id_rsa.pub #用完删掉

#最后我们在Master节点上测试是否能成功登陆各个子节点
$ ssh Slave1  #登陆子节点1
$ exit        #退出Slave1节点 
$ ssh Slave2  #登陆子节点2
$ exit 
$ ssh Slave3  #登陆子节点3
$ exit 
$ ssh Slave4  #登陆子节点4
$ exit 
$ ssh Slave5  #登陆子节点5
$ exit 
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
配置PATH环境变量

可以将hadoop安装目录加入到PATH变量中，这样就有可以在任意目录中使用hadoop、hdfs等命令，需要在Master节点上进行配置，注意下面命令只须在Master节点上执行，其他的Slave节点不需要。

$ vim ~/.bashrc
#加入下面的命令
$
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79 #加入Java环境变量
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
$ source ~/.bashrc  #刷新一下
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
配置集群/分布式环境

集群/分布式环境需要修改/usr/local/hadoop/etc/hadoop中的5个配置文件，更多设置项可查看官方说明，这里仅仅设置了正常启动所必须的设置项：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

  • 文件slaves，将作为DataNode的主机名写入该文件，每行一个，默认为localhost，所谓在伪分布式节点配置时，节点即作为NameNode也可以作为DataNode。分布式配置可以保留localhost，也可以删掉，让Master节点近作为NameNode节点。本教程让Master节点仅仅作为NameNode节点使用，因此将文件中原来的localhost删除，在slaves中添加：
Slave1  #作为DataNode节点
Slave2  #作为DataNode节点
Slave3  #作为DataNode节点
SLave4  #作为DataNode节点
Slave5  #作为DataNode节点
 
 
  • 1
  • 2
  • 3
  • 4
  • 5

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 将core-site.xml文件改为下面的配置：
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>   
      </property>
</configuration>
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 文件hdfs-site.xml，dfs.replication一般设置为3，但是我们现在有5个Slave节点，所以dfs.replication的值设置为5。
  <configuration>
      <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>Master:50090</value>
      </property>
      <property>
          <name>dfs.replication</name>
          <value>5</value>  
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/usr/local/hadoop/tmp/dfs/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/usr/local/hadoop/tmp/dfs/data</value>
       </property>
  </configuration>
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 文件mapred-site.xml（可能需要先重命名，默认文件名为madred-site.xml.template），然后配置修改如下： 
    首先重命名，在终端中输入：
mv madred-site.xml.template madred-site.xml  #将前一个文件的名字修改为后者
 
 
  • 1

 
 
  • 1
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 修改文件yarn-site.xml如下：
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 最基本的配置完成，我们需要将Master节点上的/usr/local/hadoop文件夹复制到各个节点上，因为之前在节点上跑过单节点的例子，所以在切换到集群模式之前应先删除之前临时的文件，在Master节点上执行：
$ cd /usr/local
$ sudo rm -r ./hadoop/tmp #删除hadoop临时文件
$ `sudo rm -r ./hadoop/logs/*`  #删除日志文件
$ tar -zcf ~/hadoop.master.tar.gz ./hadoop #先压缩再执行复制
$ cd ~
$ scp ./hadoop.master.tar.gz Slave1:/home/hadoop #传输到Shave1节点上
$ scp ./hadoop.master.tar.gz Slave2:/home/hadoop #传输到Shave2节点上
$ scp ./hadoop.master.tar.gz Slave3:/home/hadoop #传输到Shave3节点上
$ scp ./hadoop.master.tar.gz Slave4:/home/hadoop #传输到Shave4节点上
$ scp ./hadoop.master.tar.gz Slave5:/home/hadoop #传输到Shave5节点上
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 在各个slave节点上执行下面的命令,我有5个slave节点，所有在5个节点下都应该执行下面的命令：
$ sudo rm -r /usr/local/hadoop  #删掉旧的
$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local  #解压缩到/usr/local文件夹中
$ sudo chown -R hadoop:hadoop /usr/local/hadoop  #修改/usr/local/hadoop文件夹权限
 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3
首次启动hadoop
  • 首次启动需要先在Master节点上执行NameNode的格式化，如果要重新格式化，要删除所有节点上tmp文件，否则是不能格式化成功的，即使成功也不会刷新状态。
$ hdfs namenode -format  #首次运行需要执行格式化操作，之后不需要
 
 
  • 1

 
 
  • 1

  • 关闭防火墙，Centos中默认开启了防火墙，在开启hadoop集群之前，需要关闭集群中每个节点的防火墙，有防火墙会导致ping得通但是telnet端口不通，从而导致DataNode启动了，但是Live datanodes为0的情况。

    • 在Centos 6.x中关闭防火墙命令

      $ sudo service iptables stop #关闭防火墙服务
$ sudo chkconfig iptables off #禁止防火墙开机自启动，这样就不用手动去关闭了
     
     
      • 1
      • 2
      
     
     
      • 1
      • 2

    • 在Centos 7中需要通过如下命令（防火墙改成了firewall）

      $ systemctl stop firewalld.service #关闭firewall
$ systemctl disable firewalld.service #禁止firewall开机自启动
     
     
      • 1
      • 2
      
     
     
      • 1
      • 2

  • 启动hadoop，需要在Master上进行：

$ start-dfs.sh
$ start-yarn.sh
$ start-all.sh
$ mr-jobhistory-daemon.sh start historyserver
 
 
  • 1
  • 2
  • 3
  • 4

 
 
  • 1
  • 2
  • 3
  • 4

启动的过程如果报错，可能是环境变量设置有问题，将下面我已经设置好的环境变量放到指定的部分就可以。

最终环境变量设置

最终在~/.bashrc和~/.bash_profile文件中应该有下面的环境变量，请直接复制下面的环境变量，这种设置可以方便你izai任意路径下打开相应的可执行文件。

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:$JAVA_HOME/bin
export HADOOP_PREFIX=/usr/local/hadoop
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
查看运行结果

是否启动成功呢？这可能是我们最为关心的问题，下面一些方式去查看你的集群是否已经成功的启动。

  • jps，在各个节点上输入jps命令

    • 在Master必须包含的信息，必须至少包含下面的4个进行，否则就可以判定你的集群没有成功的启动。
    ResourceManager   #资源管理
Jps
NameNode
SecondaryNameNode
   
   
    • 1
    • 2
    • 3
    • 4
    
   
   
    • 1
    • 2
    • 3
    • 4
    • 在Slave节点上应该包含3个进程，三个进行却一不可。
    Jps
NodeManager
DataNode
   
   
    • 1
    • 2
    • 3
    
   
   
    • 1
    • 2
    • 3

  • Master:50070 
    将上面的Master换成你的Master节点的IP地址，在启动的界面中，查看，如下图,其中的LiveNode应该为你的Slave节点数： 
    hadoop-LiveNode.png

  • 在终端中输入：hdfs dfsadmin -report，其中的LiveNode应该为你的LiveNode数目，否则说明集群没有成功的启动。

停止hadoop集群

停止过程十分简单，只需要在Master节点上执行命令：

stop-all.sh   #停止所有的进程
 
 
  • 1

 
 
  • 1
可能出现的问题
  • 在你输入一些命令比如jps时，会提示“can not found“，这个命令本身不属于hadoop，这是Java的JDK自带的一条命令，出现这种情况的原因有二： 
    • 你的JDK安装不正确，但是如果你跟我的教程做，不会出现这种情况
    • 环境变量的导入不正确，在本文中最后给出了你应该导入的环境变量，请自己仔细检查是否正确

  • 第一次启动hadoop时不成功，之后一会报错该怎么办？

    • 出现这种情况的原因可能是你第一次开启hadoop的姿势不正确，请删除/usr/local/hadoop路径下的tmp文件夹，重新进行格式化操作，看是否能够成功。

  • 在启动的过程中可能会伴随一个警告，还警告直接忽略，它不会影响你的正常启动，这个警告的解决需要编译源代码，还是比较复杂的，一般不建议修改。

huanlin12
关注
第128讲：Hadoop集群管理工具dfsadmin实战详解学习笔记
slq1023的博客
11-15 1909
第128讲：Hadoop集群管理工具dfsadmin实战详解学习笔记 通过dfsadmin可以查看hdfs的一些信息也可以执行一些管理操作。 要想使用dfsadmin需要有管理员权限，因为dfsadmin可以修改hdfs的内容。 使用hadoop dfsadmin命令可以显示帮助 。 hadoop dfsadmin -report 统计信息，可以查看 datanode的IP，心跳信息等。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
最新发布
2401_84181070的博客
04-27 1027
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
大数据：Hadoop文件操作HDFS常用命令（一）
热门推荐
Zhang Phil
08-09 2万+
大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录： hadoop dfs -mkdir 2、查看文件结构目录： hdfs dfs -ls -R / 例如，在HDFS中创建一个test_dir的文件目录，然后查看： 如果查看具体某一个文件目录下的文件层次，则为： hadoop fs -ls /mydir myd...
安装Hadoop，Spark集群模式
风吴痕的博客
10-17 936
参考： 1、http://www.itnose.net/detail/6478156.htmlSpark On YARN 分布式集群安装 2、http://blog.csdn.net/dream_an/article/details/52946840Hadoop2.7.3完全分布式集群部署过程 Hadoop集群安装 参考：http://blog.csdn.net/dream_
大数据生态圈学习--HDFS分布式文件系统
weixin_46792694的博客
04-04 448
大数据生态圈学习--HDFS分布式文件系统HDFS介绍HDFS的命令行使用hadoop的基准测试 HDFS介绍 HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 可以存储海量数据。 hdfs的特性： master/slave架构：主从架构 namenode：主节点，主要用于存储元数据，处理用户的请求 datanode：从节点，主要用于存储数据，说白了就是出磁盘的 分块存储：
hadoop常用的命令
Student_xx的博客
12-10 2927
1.hadoop常用命令 hadoop常用命令就是以下三个： 1.hadoop fs hadoop fs和hdfs等价：如下图的脚本可知： 2.hadoop checknative 检查原生hadoop和压缩库是否可用，如下图： 3.hadoop classpath 打印对象的类路径，如下图的执行结果： 具体的应用参考：http://cn.voidcc.com/question/p-tenieuea-bex.html 2.hdfs常用命令 如下图： 1.dfs命令： 生产上注意不建议使用mv移动
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建文档资料
11-15
以上内容是Hadoop集群搭建的基础步骤和关键知识点，具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作，帮助读者理解和实践Hadoop集群的搭建。通过这份文档，你可以学习到...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1050
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
HDFS常用命令
weixin_44994948的博客
11-26 1399
1.HDFS分布式文件系统的内部副本存放策略：以默认的副本数=3为例： 1、第一个副本块存本机 2、第二个副本块存跟本机同机架内的其他服务器节点 3、第三个副本块存不同机架的一个服务器节点上 2、hdfs的命令行使用 ls 格式： hdfs dfs -ls URI 作用：类似于Linux的ls命令，显示文件列表 hdfs dfs -ls / lsr 格式 : hdfs dfs -lsr URI 作用 : 在整个目录下递归执行ls, 与UNIX中的ls-R类似 hdfs dfs -lsr..
1.Hadoop的安装和使用（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
05-24 2528
此笔记为第一篇，学校开放华为云平台，帮助我们学习有关大数据方面相关知识的学习笔记，因为是云平台，是已经搭建好linux环境了，使用的是Ubantu。精心整理，自学笔记，如有什么问题，请耐心指正 Hadoop的安装和使用 学习Hadoop的安装和使用 1 安装Hadoop前的准备工作 介绍安装Hadoop之前的一些准备工作，包括创建hadoop用户、安装SSH和安装Java环境等。 先配置hosts，输入以下命令，将本机的hostname添加到hosts文件中： 拷贝代码echo "127.0.0.1 "$H
Hadoop/Yarn REST API未授权访问漏洞
weixin_44455388的博客
09-27 4429
一、基本情况 漏洞分布：所有版本 漏洞级别：高危 漏洞类别：未授权漏洞 漏洞URL： http://25.215.209.1:19888/ http://25.215.209.1:50070/ http://25.215.209.1:50090/ http://25.215.209.1:50075/ http://25.215.209.1:8088/cluster 二、漏洞描述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了 Hadoop 机器 HDFS 的
hadoop中web端口50070无法访问的解决办法汇总
mo
09-21 1万+
1.虚拟机是Centos7下检查防火墙的状态，systemctl status firewalld.service ，如果是active的话要关闭防火墙(systemctl stop firewalld.service)或者是禁用防火墙(systemctl disable firewalld.service)。 如果虚拟机是Centos6的话service iptables status (查看防火墙状态),service iptables stop (临时关闭防火墙) , chkconfig
Hadoop Web 控制台安全认证——使用用户名 + 密码登陆设置方法 （Hadoop HTTP web-控制台认证 ）
lt5227的博客
08-06 1万+
Hadoop HTTP WEB-控制台认证 我们安装完hadoop后，默认情况下我们访问UI界面是没有任何安全验证的。现在我想要的是对Hadoop的Web控制台界面加入一些安全机制，最好是能设置用户名和密码，通过用户名密码的方式来访问我们的Hadoop Web控制台。在做之前，我首先想看看官方有没有类似的这样的功能。下面的文档是官方的 《Hadoop HTTP web-控制台认证》 的说明文档： https://hadoop.apache.org/docs/stable/hadoop-project-dis
HDFS权限设置 \ HDFS涉及ACLs的命令
涂作权的博客
06-04 2538
本文主要参考：https://www.cnblogs.com/royfans/p/7326859.html https://www.cppentry.com/bencandy.php?fid=115&id=206011 HDFS权限设置 1. hdfs权限检查启用，需要在hdfs-site.xml中做如下配置： <property> <name>dfs.permissions.enabled</name> <value>true<
Hadoop集群50070WebUI访问不了;主机名可以访问，ip访问不了
^_^TaeYang-Jade^_^
11-27 1万+
最近搭建Hadoop伪集群时 ，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP :50070就是访问不了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。 伪集群搭建采用的是CentOS 7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。 Firewall： systemctl start firew
Hadoop集群启动和关闭脚本
BIPT919的博客
04-24 6112
文章目录Hadoop集群启动关闭脚本一、Hadoop集群启动脚本1.在cd $HADOOP_HOME路径下创建jiqunstart.sh文件。二、Hadoop集群关闭脚本1.同理在cd $HADOOP_HOME路径下创建jiqunstop.sh文件。三、运行两个脚本1.脚本运行成功后，打开50070查看集群是否启动成功2.可能遇到的问题 Hadoop集群启动关闭脚本 1.首先我们知道在启动Hadoop命令时，我们是 start-dfs.sh→start-yarn.sh →mr-jobhistory-da
Hadoop集群搭建
09-26
Hadoop集群搭建是一个开源的、可运行与Linux集群上的分布式计算平台。用户可以通过Hadoop存有基础环境的配置，包括虚拟机安装和Linux系统安装等步骤来搭建Hadoop集群。具体步骤如下： 1. 虚拟机的安装：首先安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值