Apache hadoop集群安装的三种方式:本地、伪分布、完全分布

四 Hadoop运行模式

1)官方网址

(1)官方网站:

http://hadoop.apache.org/

(2)各个版本归档库地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

(3)hadoop2.7.2版本详情介绍

http://hadoop.apache.org/docs/r2.7.2/

2)Hadoop运行模式

(1)本地模式(默认模式):

不需要启用单独进程,直接可以运行,测试和开发时使用。

(2)伪分布式模式:

等同于完全分布式,只有一个节点。

(3)完全分布式模式:

多个节点一起运行。

4.1 本地运行Hadoop 案例

4.1.1 官方grep案例

1)创建在hadoop-2.7.2文件下面创建一个input文件夹

[itstar@hadoop101 hadoop-2.7.2]$mkdir input

2)将hadoop的xml配置文件复制到input

[itstar@hadoop101 hadoop-2.7.2]$cpetc/hadoop/*.xml input

3)执行share目录下的mapreduce程序    

[itstar@hadoop101 hadoop-2.7.2]$ bin/hadoopjar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrep input output 'dfs[a-z.]+'

4)查看输出结果

[itstar@hadoop101 hadoop-2.7.2]$ cat output/*

4.1.2 官方wordcount案例

1)创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[itstar@hadoop101 hadoop-2.7.2]$mkdir wcinput

2)在wcinput文件下创建一个wc.input文件

[itstar@hadoop101 hadoop-2.7.2]$cd wcinput

[itstar@hadoop101 wcinput]$touch wc.input

3)编辑wc.input文件

[itstar@hadoop101 wcinput]$vim wc.input

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

itstar

itstar

保存退出::wq

4)回到hadoop目录/opt/module/hadoop-2.7.2

5)执行程序:

[itstar@hadoop101 hadoop-2.7.2]$ hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinputwcoutput

6)查看结果:

[itstar@hadoop101 hadoop-2.7.2]$catwcoutput/part-r-00000

itstar 2

hadoop 2

mapreduce      1

yarn   1

4.2 伪分布式运行Hadoop案例

4.2.1 启动HDFS并运行MapReduce程序

1)分析:

       (1)准备1台客户机

       (2)安装jdk

       (3)配置环境变量

       (4)安装hadoop

       (5)配置环境变量

       (6)配置集群

       (7)启动、测试集群增、删、查

       (8)执行wordcount案例

2)执行步骤

需要配置hadoop文件如下

(1)配置集群

              (a)配置:hadoop-env.sh

                     Linux系统中获取jdk的安装路径:

[root@ hadoop101 ~]#echo $JAVA_HOME

/opt/module/jdk1.8.0_144

                     修改JAVA_HOME 路径:

export JAVA_HOME=/opt/module/jdk1.8.0_144

(b)配置:core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

<property>

       <name>fs.defaultFS</name>

    <value>hdfs://hadoop101:9000</value>

</property>

 

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

       <name>hadoop.tmp.dir</name>

       <value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

(c)配置:hdfs-site.xml 

       <!-- 指定HDFS副本的数量 -->

       <property>

              <name>dfs.replication</name>

              <value>1</value>

       </property>

(2)启动集群

(a)格式化namenode(第一次启动时格式化,以后就不要总格式化)

                     [itstar@hadoop101hadoop-2.7.2]$ bin/hdfs namenode -format

              (b)启动namenode

                     [itstar@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

              (c)启动datanode

                     [itstar@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

(3)查看集群

              (a)查看是否启动成功

[itstar@hadoop101hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps

              (b)查看产生的log日志

当前目录:/opt/module/hadoop-2.7.2/logs

[itstar@hadoop101 logs]$ ls

hadoop-itstar-datanode-hadoop.itstar.com.log

hadoop-itstar-datanode-hadoop.itstar.com.out

hadoop-itstar-namenode-hadoop.itstar.com.log

hadoop-itstar-namenode-hadoop.itstar.com.out

SecurityAuth-root.audit

[itstar@hadoop101 logs]#cat hadoop-itstar-datanode-hadoop101.log

              (c)web端查看HDFS文件系统

                     http://192.168.1.101:50070/dfshealth.html#tab-overview

                     注意:如果不能查看,看如下帖子处理

http://www.cnblogs.com/zlslch/p/6604189.html

(4)操作集群

              (a)在hdfs文件系统上创建一个input文件夹

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -mkdir -p /user/itstar/input

              (b)将测试文件内容上传到文件系统上

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -put wcinput/wc.input  /user/itstar/input/

              (c)查看上传的文件是否正确

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -ls  /user/itstar/input/

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat  /user/itstar/ input/wc.input

              (d)运行mapreduce程序

                     [itstar@hadoop101hadoop-2.7.2]$ bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input//user/itstar/output

              (e)查看输出结果

命令行查看:

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -cat /user/itstar/output/*

浏览器查看

              (f)将测试文件内容下载到本地

[itstar@hadoop101 hadoop-2.7.2]$ hadoopfs -get /user/itstar/ output/part-r-00000 ./wcoutput/

(g)删除输出结果

[itstar@hadoop101 hadoop-2.7.2]$ hdfsdfs -rmr /user/itstar/output

4.2.2 YARN上运行MapReduce 程序

1)分析:

       (1)准备1台客户机

       (2)安装jdk

       (3)配置环境变量

       (4)安装hadoop

       (5)配置环境变量

       (6)配置集群yarn上运行

       (7)启动、测试集群增、删、查

       (8)在yarn上执行wordcount案例

2)执行步骤

       (1)配置集群

              (a)配置yarn-env.sh

       配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

(b)配置yarn-site.xml

<!-- reducer获取数据的方式 -->

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

</property>

 

<!-- 指定YARNResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop101</value>

</property>

              (c)配置:mapred-env.sh

       配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

              (d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml

[itstar@hadoop101 hadoop]$ mvmapred-site.xml.template mapred-site.xml

[itstar@hadoop101 hadoop]$ vimapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

       (2)启动集群

(a)启动resourcemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager

(b)启动nodemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager

       3)集群操作

(a)yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

              (b)删除文件系统上的output文件

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfsdfs -rm -R /user/itstar/output

              (c)执行mapreduce程序

                     [itstar@hadoop101hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount /user/itstar/input  /user/itstar/output

              (d)查看运行结果

[itstar@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -cat /user/itstar/output/*

4.2.3 配置临时文件存储路径

1)停止进程

[itstar@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[itstar@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[itstar@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

[itstar@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

2)修改hadoop.tmp.dir

       [core-site.xml]

       <!-- 指定hadoop运行时产生文件的存储目录 -->

       <property>

              <name>hadoop.tmp.dir</name>

              <value>/opt/module/hadoop-2.7.2/data/tmp</value>

       </property>

3)将/opt/module/hadoop-2.7.2路径中的logs文件夹删除掉

[itstar@hadoop101 hadoop-2.7.2]$rm -rf logs/

4)进入到tmp目录将tmp目录中hadoop-itstar目录删除掉

[itstar@hadoop101tmp]$ rm -rf hadoop-itstar/

5)格式化NameNode

       [itstar@hadoop101 hadoop-2.7.2]$ hadoopnamenode -format

6)启动所有进程

       [itstar@hadoop101 hadoop-2.7.2]$sbin/hadoop-daemon.sh start namenode

[itstar@hadoop101hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

[itstar@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[itstar@hadoop101hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

       7)查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

4.2.4 配置历史服务器

       1)配置mapred-site.xml

[itstar@hadoop101 hadoop]$ vi mapred-site.xml

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop101:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop101:19888</value>

</property>

       2)查看启动历史服务器文件目录:

[itstar@hadoop101hadoop-2.7.2]$ ls sbin/ | grep mr

mr-jobhistory-daemon.sh

       3)启动历史服务器

[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver

       4)查看历史服务器是否启动

              [itstar@hadoop101hadoop-2.7.2]$ jps

       5)查看jobhistory

http://192.168.1.101:19888/jobhistory

4.2.5 配置日志的聚集

日志聚集概念:应用运行完成以后,将日志信息上传到HDFS系统上。

开启日志聚集功能步骤:

(1)配置yarn-site.xml

[itstar@hadoop101 hadoop]$ viyarn-site.xml

<!-- 日志聚集功能使能 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 日志保留时间设置7天 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

(2)关闭nodemanager 、resourcemanager和historymanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop resourcemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstop nodemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstop historyserver

(3)启动nodemanager 、resourcemanager和historymanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart resourcemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.shstart nodemanager

[itstar@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.shstart historyserver

(4)删除hdfs上已经存在的hdfs文件

[itstar@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs-rm -R /user/itstar/output

(5)执行wordcount程序

[itstar@hadoop101 hadoop-2.7.2]$ hadoopjar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/itstar/input/user/itstar/output

(6)查看日志

http://192.168.1.101:19888/jobhistory

4.2.6 配置文件说明

Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

(1)默认配置文件:存放在hadoop相应的jar包中

[core-default.xml]

                     hadoop-common-2.7.2.jar/core-default.xml

              [hdfs-default.xml]

hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

              [yarn-default.xml]

hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

              [core-default.xml]

hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

       (2)自定义配置文件:存放在$HADOOP_HOME/etc/hadoop

              core-site.xml

              hdfs-site.xml

              yarn-site.xml

              mapred-site.xml

4.3 完全分布式部署Hadoop

分析:

       1)准备3台客户机(关闭防火墙、静态ip、主机名称

       2)安装jdk

       3)配置环境变量

       4)安装hadoop

       5)配置环境变量

       6)安装ssh

       7)配置集群

       8)启动测试集群

4.3.1 虚拟机准备

详见3.2-3.3章。

4.3.2 主机名设置

详见3.4章。

4.3.3 scp

1)scp可以实现服务器与服务器之间的数据拷贝

2)案例实操

(1)将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。

[root@hadoop101/]# scp -r /opt/module/  root@hadoop102:/opt

[root@hadoop101/]# scp -r /opt/software/  root@hadoop102:/opt

[root@hadoop101/]# scp -r /opt/module/  root@hadoop103:/opt

[root@hadoop101/]# scp -r /opt/software/  root@hadoop103:/opt

[root@hadoop101/]# scp -r /opt/module/  root@hadoop104:/opt

[root@hadoop101/]# scp -r /opt/software/  root@hadoop105:/opt

(2)将hadoop101服务器上的/etc/profile文件拷贝到hadoop102上。

[root@hadoop102opt]# scp root@hadoop101:/etc/profile /etc/profile

       (3)实现两台远程机器之间的文件传输(hadoop103主机文件拷贝到hadoop104主机上)

             [itstar@hadoop102test]$ scp itstar@hadoop103:/opt/test/haha itstar@hadoop104:/opt/test/

4.3.4 SSH无密码登录

1)配置ssh

(1)基本语法

ssh 另一台电脑的ip地址

(2)ssh连接时出现Host keyverification failed的解决方法

[root@hadoop102 opt]#ssh 192.168.1.103

The authenticity of host '192.168.1.103 (192.168.1.103)'can't be established.

RSA key fingerprint iscf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting(yes/no)?

Host key verification failed.

(3)解决方案如下:直接输入yes

2)无密钥配置

(1)进入到我的home目录

              [itstar@hadoop102 opt]$ cd ~/.ssh

(2)生成公钥和私钥:

[itstar@hadoop102 .ssh]$ ssh-keygen-t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

(3)将公钥拷贝到要免密登录的目标机器上

[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop102

[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop103

[itstar@hadoop102 .ssh]$ ssh-copy-idhadoop104

4)在hadoop103hadoop104上分别执行所有操作

3).ssh文件夹下的文件功能解释

       (1)~/.ssh/known_hosts     :记录ssh访问过计算机的公钥(publickey)

       (2)id_rsa   :生成的私钥

       (3)id_rsa.pub    :生成的公钥

       (4)authorized_keys   :存放授权过得无秘登录服务器公钥

4.3.5 rsync

rsync远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别:rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。

(1)查看rsync使用说明

man rsync | more

       (2)基本语法

rsync -rvl     $pdir/$fname         $user@hadoop$host:$pdir

              命令命令参数要拷贝的文件路径/名称   目的用户@主机:目的路径

              选项

-r 递归

-v 显示复制过程

-l 拷贝符号连接

       (3)案例实操

              把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录

[itstar@hadoop102 opt]$ rsync -rvl/opt/tmp  root@hadoop103:/opt/

4.3.6 编写集群分发脚本xsync

1)需求分析:循环复制文件到所有节点的相同目录下。

       (1)原始拷贝:

rsync  -rvl    /opt/module              root@hadoop103:/opt/

       (2)期望脚本:

xsync 要同步的文件名称

       (3)在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行。

2)案例实操:

(1)在/usr/local/bin目录下创建xsync文件,文件内容如下:

[root@hadoop102 bin]# touchxsync

[root@hadoop102 bin]# vixsync

#!/bin/bash

#1 获取输入参数个数,如果没有参数,直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

fi

 

#2 获取文件名称

p1=$1

fname=`basename $p1`

echo fname=$fname

 

#3 获取上级目录到绝对路径

pdir=`cd -P $(dirname $p1); pwd`

echo pdir=$pdir

 

#4 获取当前用户名称

user=`whoami`

 

#5 循环

for((host=103; host<105; host++)); do

        #echo $pdir/$fname $user@hadoop$host:$pdir

        echo --------------- hadoop$host ----------------

        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

done

(2)修改脚本 xsync 具有执行权限

[root@hadoop102bin]# chmod 777 xsync

[root@hadoop102bin]# chown itstar:itstar -R xsync

(3)调用脚本形式:xsync 文件名称

[itstar@hadoop102opt]$ xsync tmp/

4.3.7 编写集群操作脚本xcall

1)需求分析:在所有主机上同时执行相同的命令

xcall +命令

2)具体实现

(1)在/usr/local/bin目录下创建xcall文件,文件内容如下:

[root@hadoop102 bin]# touch xcall

[root@hadoop102 bin]# vi xcall

#!/bin/bash

pcount=$#

if((pcount==0));then

        echo no args;

        exit;

fi

 

echo -------------localhost----------

$@

for((host=101; host<=108; host++)); do

        echo ----------hadoop$host---------

        ssh hadoop$host $@

done

(2)修改脚本xcall具有执行权限

             [root@hadoop102bin]# chmod 777 xcall

[root@hadoop102bin]# chown itstar:itstar xcall

(3)调用脚本形式: xcall 操作命令

[root@hadoop102~]# xcall rm -rf /opt/tmp/

4.3.8 配置集群

1)集群部署规划

 

hadoop102

hadoop103

hadoop104

HDFS

 

NameNode

DataNode

 

DataNode

SecondaryNameNode

DataNode

YARN

 

NodeManager

ResourceManager

NodeManager

 

NodeManager

2)配置文件

       (1)core-site.xml

[itstar@hadoop102hadoop]$ vi core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

       <property>

              <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:9000</value>

       </property>

 

       <!-- 指定hadoop运行时产生文件的存储目录 -->

       <property>

              <name>hadoop.tmp.dir</name>

              <value>/opt/module/hadoop-2.7.2/data/tmp</value>

       </property>

       (2)Hdfs

              hadoop-env.sh

[itstar@hadoop102hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

              hdfs-site.xml

<configuration>

       <property>

              <name>dfs.replication</name>

              <value>3</value>

       </property>

 

       <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:50090</value>

    </property>

</configuration>

              slaves

[itstar@hadoop102hadoop]$ vi slaves

hadoop102

hadoop103

hadoop104

       (3)yarn

              yarn-env.sh

[itstar@hadoop102 hadoop]$ viyarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

              yarn-site.xml

              [itstar@hadoop102 hadoop]$ viyarn-site.xml

<configuration>

 

       <!-- reducer获取数据的方式 -->

       <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

       </property>

 

       <!-- 指定YARNResourceManager的地址 -->

       <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>hadoop103</value>

       </property>

</configuration>

       (4)mapreduce

              mapred-env.sh

[itstar@hadoop102 hadoop]$ vimapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

              mapred-site.xml

[itstar@hadoop102 hadoop]$ vimapred-site.xml

<configuration>

       <!-- 指定mr运行在yarn -->

       <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

       </property>

</configuration>

3)在集群上分发以上所有文件

[itstar@hadoop102hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[itstar@hadoop102hadoop]$ xsync /opt/module/hadoop-2.7.2

4)查看文件分发情况

[itstar@hadoop102hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves

4.3.9 集群启动及测试

1)启动集群

       (0)如果集群是第一次启动,需要格式化namenode

              [itstar@hadoop102hadoop-2.7.2]$bin/hdfsnamenode -format

1)启动HDFS

[itstar@hadoop102hadoop-2.7.2]$sbin/start-dfs.sh

[itstar@hadoop102hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

 

[itstar@hadoop103hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

 

[itstar@hadoop104hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

(2)启动yarn

[itstar@hadoop102hadoop-2.7.2]$ sbin/start-yarn.sh

注意:NamenodeResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn

2)集群基本测试

(1)上传文件到集群

       上传小文件

       [itstar@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p/user/itstar/tmp/conf

       [itstar@hadoop102 hadoop-2.7.2]$ bin/hdfsdfs -put etc/hadoop/*-site.xml /user/itstar/tmp/conf

       上传大文件

[itstar@hadoop102hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/itstar/input

(2)上传文件后查看文件存放在什么位置

       文件存储路径

       [itstar@hadoop102 subdir0]$ pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

       查看文件内容

[itstar@hadoop102subdir0]$ cat blk_1073741825

hadoop

itstar

itstar

(3)拼接

-rw-rw-r--. 1 itstar itstar 134217728 5月 23 16:01 blk_1073741836

-rw-rw-r--. 1 itstar itstar   1048583 5月  23 16:01blk_1073741836_1012.meta

-rw-rw-r--. 1 itstar itstar  63439959 5月  23 16:01 blk_1073741837

-rw-rw-r--. 1 itstar itstar    495635 5月  23 16:01blk_1073741837_1013.meta

[itstar@hadoop102 subdir0]$cat blk_1073741836>>tmp.file

[itstar@hadoop102subdir0]$ cat blk_1073741837>>tmp.file

[itstar@hadoop102subdir0]$ tar -zxvf tmp.file

(4)下载

[itstar@hadoop102hadoop-2.7.2]$ bin/hadoop fs -get /user/itstar/input/hadoop-2.7.2.tar.gz

3)性能测试集群

       写海量数据

       读海量数据

4.3.10 Hadoop启动停止方式

1)各个服务组件逐一启动

       (1)分别启动hdfs组件

              hadoop-daemon.sh  start|stop namenode|datanode|secondarynamenode

       (2)启动yarn

              yarn-daemon.sh  start|stop resourcemanager|nodemanager

2)各个模块分开启动(配置ssh是前提)常用

       (1)整体启动/停止hdfs

              start-dfs.sh

              stop-dfs.sh

       (2)整体启动/停止yarn

              start-yarn.sh

              stop-yarn.sh

3)全部启动(不建议使用)

       start-all.sh

       stop-all.sh

4.3.11 集群时间同步

时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。

配置时间同步实操:

1)时间服务器配置(必须root用户)

(1)检查ntp是否安装

[root@hadoop102桌面]# rpm -qa|grep ntp

ntp-4.2.6p5-10.el6.centos.x86_64

fontpackages-filesystem-1.41-1.1.el6.noarch

ntpdate-4.2.6p5-10.el6.centos.x86_64

(2)修改ntp配置文件

[root@hadoop102桌面]# vi/etc/ntp.conf

修改内容如下

a)修改1

#restrict192.168.1.0 mask 255.255.255.0 nomodify notrap为

restrict192.168.1.0 mask 255.255.255.0 nomodify notrap

              b)修改2

server0.centos.pool.ntp.org iburst

server1.centos.pool.ntp.org iburst

server2.centos.pool.ntp.org iburst

server3.centos.pool.ntp.org iburst为

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

              c)添加3

server 127.127.1.0

fudge 127.127.1.0stratum 10

(3)修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]#vim /etc/sysconfig/ntpd

增加内容如下

SYNC_HWCLOCK=yes

       (4)重新启动ntpd

[root@hadoop102桌面]# service ntpd status

ntpd 已停

[root@hadoop102桌面]# service ntpd start

正在启动 ntpd:                                            [确定]

       (5)执行:

              [root@hadoop102桌面]# chkconfig ntpd on

2)其他机器配置(必须root用户)

       (1)在其他机器配置10分钟与时间服务器同步一次

              [root@hadoop103 hadoop-2.7.2]# crontab -e

              编写脚本

              */10 * * * */usr/sbin/ntpdate hadoop102

       (2)修改任意机器时间

              [root@hadoop103 hadoop]# date -s "2017-9-1111:11:11"

       (3)十分钟后查看机器是否与时间服务器同步

              [root@hadoop103 hadoop]# date

4.3.12 配置集群常见问题

1)防火墙没关闭、或者没有启动yarn

INFO client.RMProxy:Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2)主机名称配置错误

3)ip地址配置错误

4)ssh没有配置好

5)root用户和itstar两个用户启动集群不统一

6)配置文件修改不细心

7)未编译源码

Unableto load native-hadoop library for your platform... using builtin-java classeswhere applicable

17/05/2215:38:58 INFO client.RMProxy: Connecting to ResourceManager athadoop108/192.168.10.108:8032

8)datanode不被namenode识别问题

Namenode在format初始化的时候会形成两个标识,blockPoolId和clusterId。新的datanode加入时,会获取这两个标识作为自己工作目录中的标识。

一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别。

解决办法,删除datanode节点中的数据后,再次重新格式化namenode。

9)不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102

        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

        在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1290)

        在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1287)

        在java.security.AccessController.doPrivileged(Native方法)

        在javax.security.auth.Subject.doAs(Subject.java:415)

解决办法:

(1)在/ etc / hosts文件中添加192.168.1.102 hadoop102

       (2)主机名称不要起hadoop hadoop000等特殊名称

10)数据管理部和名称节点进程同时只能工作一个。

11)执行命令不生效,粘贴词中命令时,遇到 - 和长 - 没区分开。导致命令失效

解决办法:尽量不要粘贴字中代码。

12)JPS发现进程已经没有,但是重新启动集群,提示进程已经开启。原因是在Linux的的根目录下的/ tmp目录中存在启动的进程临时文件,将集群相关进程删除掉,再重新启动集群。

13)JPS不生效。

原因:全局变量hadoop java没有生效,需要source / etc / profile文件。

14)8088端口连接不上

[itstar @ hadoop102桌面] $ cat / etc / hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4localhost4.localdomain4

#:: 1 hadoop102

 


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值