Hadoop 完全分布式-wangwei
Hadoop生态圈即全部组建 - 原创wnagwei(qq:140691703@qq.com) 转载复制请联系作者,未经允许擅自操作,将追究法律责任
完全分布式运行模式(开发重点)
分析:
1)准备3台客户机(关闭防火墙、静态ip、主机名称)
2)安装JDK
3)配置环境变量
4)安装Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置ssh
9)群起并测试集群
环境:
镜像文件:CentOS7.4
三台主机:HOSTNAME 静态IP
master1 192.168.65.161
slave1 192.168.65.162
slave2 192.168.65.163
第一章、 虚拟机准备
1.1、虚机准备-详见 伪分布式。
1.2、另外三台机子,也创建hadoop用户,
详见 伪分布式里面 创建用户,密码全是:123456
第二章、 编写集群分发脚本xsync
2.1、 scp(secure copy)安全拷贝
(1)scp定义:
scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(2)基本语法
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
(3)案例实操
- (a)在master上,将master中/opt/module目录下的软件拷贝到master1上。
[hadoop@master hadoop-2.6.0]$ scp -r /opt/module root@master1:/opt/module
- (b)在master上,将master服务器上的/opt/module目录下的软件拷贝到slave1上。
[hadoop@master hadoop-2.6.0]$ scp -r /opt/module root@slave1:/opt/module
- (c)在master上,将master服务器上中/opt/module目录下的软件拷贝到slave2上。
hadoop@master hadoop-2.6.0]$ scp -r /opt/module root@slave2:/opt/module
- (d)将master中/etc/profile文件拷贝到master1的/etc/profile上。
hadoop@master hadoop-2.6.0]$ scp /etc/profile root@master1:/etc/profile
- (e)将master中/etc/profile文件拷贝到slave1的/etc/profile上。
hadoop@master hadoop-2.6.0]$ sudo scp /etc/profile root@slave1:/etc/profile
- (f)将master中/etc/profile文件拷贝到slave2的/etc/profile上。
hadoop@master hadoop-2.6.0]$ sudo scp /etc/profile root@slave2:/etc/profile
2.2、 rsync 远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。
(1)基本语法
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
选项参数说明
表2-2
选项 | 功能 |
-r | 递归 |
-v | 显示复制过程 |
-l | 拷贝符号连接 |
(2)案例实操
(a)把master机器上的/opt/software目录同步到master1服务器的root用户下的/opt/目录
hadoop@master hadoop-2.6.0]$ rsync -rvl /opt/software/ root@master1:/opt/software
2.3、 xsync集群分发脚本
(1)需求:循环复制文件到所有节点的相同目录下
(2)需求分析:
-
- rsync命令原始拷贝:
rsync -rvl /opt/module root@slave1:/opt/
(3)脚本实现
[hadoop@master1 ~]$ pwd
[hadoop@master1 ~]$ mkdir bin
[hadoop@master1 ~]$ cd bin/
[hadoop@master1 bin]$ touch xsync
[hadoop@master1 bin]$ vim xsync
在该文件中编写如下代码 shell脚本代码
-
- (b)修改脚本 xsync 具有执行权限
[hadoop@master1 bin]$ chmod 777 xsync
-
- (c)调用脚本形式:xsync 文件名称
[hadoop@master1 bin]$ xsync /home/hadoop/bin
第三章、集群配置
3.1、集群部署规划
表2-3
| master1 | slave1 | slave2 |
HDFS
| NameNode DataNode |
DataNode | SecondaryNameNode DataNode |
YARN |
NodeManager | ResourceManager NodeManager |
NodeManager |
IP | 192.168.65.161 | 192.168.65.162 | 192.168.65.163 |
3.2、配置集群
所有 core-site.xml.copy-master 为伪分布式配置的(多了日志和历史服务器web地址)
(1)核心配置文件
-
- 配置core-site.xml
[hadoop@master1 hadoop-2.6.0]$ cd etc/hadoop
[hadoop@master1 hadoop]$ vim core-site.xml
在该文件中修改编写为如下配置:
<property>
<name> fs.default.name </name>
<value>hdfs://master1:9000</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.6.0/data/tmp</value>
<description>指定Hadoop运行时产生文件的存储目录</description>
</property>
(2)HDFS配置文件
-
- 1、配置hadoop-env.sh
[hadoop@master1 hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
-
- 2、配置hdfs-site.xml
[hadoop@master1 hadoop]$ vim hdfs-site.xml
在该文件中编写修改为如下配置:
<property>
<name>dfs.replication</name>
<value>3</value>
<description></description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
(3)YARN配置文件
-
- 1、配置yarn-env.sh
[hadoop@master1 hadoop]$ vim yarn-env.sh
# 底端增加如下内容:(已增加则略过)
export JAVA_HOME=/opt/module/jdk1.8.0_171
-
- 2、配置yarn-site.xml
[hadoop@master1 hadoop]$ cp yarn-site.xml yarn-site.xml.copy-master #伪分布式写的
[hadoop@master1 hadoop]$ vim yarn-site.xml
在该文件中修改为如下配置:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
<description></description>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
<description></description>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
<description></description>
</property>
(4)MapReduce配置文件
-
- 1、配置mapred-env.sh
[hadoop@master1 hadoop]$ vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
-
- 2、配置mapred-site.xml
[hadoop@master1 hadoop]$ cp mapred-site.xml mapred-site.xml.copy-master #伪分布式写的
[hadoop@master1 hadoop]$ vim mapred-site.xml
在该文件中增加如下配置:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.3、在集群上分发配置好的Hadoop配置文件
[hadoop@master1 hadoop]$ xsync /opt/module/hadoop-2.6.0/
3.4、从机查看文件分发情况
[hadoop@slave1 hadoop]$ cat /opt/module/hadoop-2.6.0/etc/hadoop/core-site.xml
[hadoop@slave2 hadoop]$ cat /opt/module/hadoop-2.6.0/etc/hadoop/core-site.xml
第四章、 集群单点启动
4.1、如果集群是第一次启动,需要格式化NameNode
[hadoop@master1 hadoop-2.6.0]$ hadoop namenode -format
4.2、在hadoop102上启动NameNode
[hadoop@master1 hadoop-2.6.0]$ hadoop-daemon.sh start namenode
[hadoop@master1 hadoop-2.6.0]$jps
2916 NameNode
2990 jps
4.3、在master1、slave1以及slave2上分别启动DataNode
[hadoop@master1 hadoop-2.6.0]$ hadoop-daemon.sh start datanode
[hadoop@master1 hadoop-2.6.0]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[hadoop@slave1 hadoop-2.6.0]$ hadoop-daemon.sh start datanode
[hadoop@slave1 hadoop-2.6.0]$ jps
3190 DataNode
3279 Jps
[hadoop@slave2 hadoop-2.6.0]$ hadoop-daemon.sh start datanode
[hadoop@slave2 hadoop-2.6.0]$ jps
3237 Jps
3163 DataNode
第五章、 SSH无密登录配置
5.1、配置ssh
(1)基本语法
ssh 另一台电脑的ip地址。
虚拟机直接可以ssh ip/hostname:
ssh 192.168.65.161
ssh slave1
5.2、 无密钥配置
(1)生成公钥和私钥:
[hadoop@master1 .ssh]$ ssh-keygen -t rsa
# 然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(2)将公钥拷贝到要免密登录的目标机器上
5.2、.ssh文件夹下(~/.ssh)的文件功能解释
known_hosts | 记录ssh访问过计算机的公钥(public key) |
id_rsa | 生成的私钥 |
id_rsa.pub | 生成的公钥 |
authorized_keys | 存放授权过得无密登录服务器公钥 |
第六章、 群起集群
6.1、 配置slaves
slaves文件作用:
作用:
Hadoop集群中所有的 DataNode 节点都需要写入 slaves 文件中,因为它是用来指定存储数据的节点文件,Master 会读取 slaves 文件来回去存储信息,根据 slaves 文件来做资源平衡。
也就是说DataNode、NodeManager决定于:slaves文件。谁跑dataNode,slaves文件写谁。当namenode跑的时候,会通过配置文件开始扫描slaves文件,slaves文件有谁,谁启动dataNode。当启动yarn时,会通过扫描配置文件开始扫描slaves文件,slaves文件有谁,谁启动NodeManager
[hadoop@master1 ~]$ cd /opt/module/hadoop-2.6.0/etc/hadoop
[hadoop@master1 hadoop]$ vim slaves
在该文件中编写如下内容:
master1
slave1
slave2
PS注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件:
[hadoop@master1 hadoop]$ xsync slaves
此时,密码都不需要输入,直接分发
6.2、 启动集群
(1)如果集群是第一次启动,需要格式化NameNode
[hadoop@master1 hadoop]$ bin/hdfs namenode -format
(2)启动HDFS
[hadoop@master1 hadoop-2.6.0]$ sbin/start-dfs.sh
Starting namenodes on [master1]
master1: starting namenode, logging to /opt/module/hadoop-2.6.0/logs/hadoop-hadoop-namenode-master1.out
slave1: starting datanode, logging to /opt/module/hadoop-2.6.0/logs/hadoop-hadoop-datanode-slave1.out
slave2: starting datanode, logging to /opt/module/hadoop-2.6.0/logs/hadoop-hadoop-datanode-slave2.out
master1: starting datanode, logging to /opt/module/hadoop-2.6.0/logs/hadoop-hadoop-datanode-master1.out
Starting secondary namenodes [slave2]
slave2: starting secondarynamenode, logging to /opt/module/hadoop-2.6.0/logs/hadoop-hadoop-secondarynamenode-slave2.out
[hadoop@master1 hadoop-2.6.0]$ jps
4055 NameNode
4153 DataNode
4367 Jps
[hadoop@slave1 ~]$ jps
2672 Jps
2542 DataNode
[hadoop@slave2 hadoop]$ jps
2944 Jps
2850 SecondaryNameNode
2755 DataNode
(3)启动YARN
[hadoop@slave1 hadoop-2.6.0]$ sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/module/hadoop-2.6.0/logs/yarn-hadoop-resourcemanager-slave1.out
slave2: starting nodemanager, logging to /opt/module/hadoop-2.6.0/logs/yarn-hadoop-nodemanager-slave2.out
slave1: starting nodemanager, logging to /opt/module/hadoop-2.6.0/logs/yarn-hadoop-nodemanager-slave1.out
[hadoop@slave1 hadoop-2.6.0]$ jps
2897 Jps
2860 NodeManager
2542 DataNode
2766 ResourceManager
[hadoop@slave2 hadoop]$ jps
2850 SecondaryNameNode
2755 DataNode
3171 Jps
3048 NodeManager
(4)Web端查看SecondaryNameNode
-
- (a)浏览器中输入查看SecondaryNameNode信息,如图2-41所示。
图2-41 SecondaryNameNode的Web端
6.3、 集群基本测试
(1)上传文件到集群
上传小文件:
[hadoop@master1 hadoop-2.6.0]$ hdfs dfs -mkdir -p /user/hadoop/input
[hadoop@master1 hadoop-2.6.0]$ hdfs dfs -put wcinput/wc.input /user/hadoop/input
上传大文件:
[hadoop@master1 hadoop-2.6.0]$ bin/hadoop fs -put /opt/software/hadoop-2.6.0.tar.gz /user/hadoop/input
(2)上传文件后查看文件存放在什么位置
-
- (a)查看HDFS文件存储路径
[hadoop@master1 subdir0]$ ls
blk_1073741825 blk_1073741825_1001.meta blk_1073741826 blk_1073741826_1002.meta blk_1073741827 blk_1073741827_1003.meta
[hadoop@master1 subdir0]$ pwd
/opt/module/hadoop-2.6.0/data/tmp/dfs/data/current/BP-982474721-192.168.65.161-1574518020089/current/finalized/subdir0/subdir0
/opt/module/hadoop-2.6.0/data/tmp/dfs/data/current/BP-982474721-192.168.65.161-1574518020089/current/finalized/subdir0/subdir0
-
- (b)查看HDFS在磁盘存储文件内容
[hadoop@master1 subdir0]$ cat blk_1073741825
测试
(3)拼接
[hadoop@master1 subdir0]$ ll
total 192188
-rw-rw-r-- 1 hadoop hadoop 7 Nov 23 06:39 blk_1073741825
-rw-rw-r-- 1 hadoop hadoop 11 Nov 23 06:39 blk_1073741825_1001.meta
-rw-rw-r-- 1 hadoop hadoop 134217728 Nov 23 06:40 blk_1073741826
-rw-rw-r-- 1 hadoop hadoop 1048583 Nov 23 06:40 blk_1073741826_1002.meta
-rw-rw-r-- 1 hadoop hadoop 61039876 Nov 23 06:40 blk_1073741827
-rw-rw-r-- 1 hadoop hadoop 476883 Nov 23 06:40 blk_1073741827_1003.meta
[hadoop@master1 subdir0]$ cat blk_1073741826>>tmp.file
[hadoop@master1 subdir0]$ cat blk_1073741827>>tmp.file
[hadoop@master1 subdir0]$ tar -zxvf tmp.file
[hadoop@master1 subdir0]$ rm -rf tmp.file # 太大了,删了算了
(4)下载
[hadoop@master1 hadoop-2.6.0]$ bin/hadoop fs -get /user/hadoop/input/hadoop-2.6.0.tar.gz ./
# 从机也可以下载,很快
[hadoop@slave1 hadoop]$ bin/hadoop fs -get /user/hadoop/input/hadoop-2.6.0.tar.gz ./
[hadoop@slave2 hadoop]$ bin/hadoop fs -get /user/hadoop/input/hadoop-2.6.0.tar.gz ./