文章目录
虚拟机环境准备
配置虚拟机IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.168.+主机名的IP
NETMASK=255.255.255.0
GATEWAY=192.168.168.2
PREFIX=24
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
DNS1=192.168.168.2
修改主机名
vi /etc/sysconfig/network
保存退出后重启网络
service network restart
查看虚拟机ip
ifconfig
虚拟机命令行ping 百度
ping www.baidu.com
停止:Ctrl + z
关闭防火墙
关闭开机自动启动防火墙
关闭:chkconfig iptables off
开启:chkconfig iptables on
查看:chkconfig iptables --list
防火墙设置
查看防火墙状态:service iptables status
关闭防火墙状态:service iptables stop
开启防火墙状态:service iptables start
修改主机名后要重启虚拟机生效:reboot
主机映射
vi /etc/hosts
192.168.168.主机名的IP hadoop102
192.168.168.主机名的IP hadoop103
192.168.168.主机名的IP hadoop104
克隆虚拟机
- 修改主机名:vi /etc/sysconfig/network
- 修改主机ip: vi /etc/sysconfig/network-scripts/ifcfg-eth0
- 修改:物理地址:HWADDR(虚拟机右下角网络适配器,设置,高级,MAC) 修改:逻辑地址:IPADDR
- 修改网络配置文件
vi /etc/udev/rules.d/70-persistent-net.rules
将克隆的内容删掉,将本机的配置文件尾行NAME值eth1改成eth0
- 重启网络:service network restart
- 如果遇到失败,重启虚拟机:reboot
配置SSH
免密:
在配置ssh免密钥之前,每个节点配置好主机映射:vi /etc/hosts
root用户操作
hadoop102:cd /root/.ssh ---> 生成公钥私钥:ssh-keygen -t rsa (一直空格)
创建:touch authorized_keys ---> 将公钥写到此文件:cat id_rsa.pub >> authorized_keys
cat authorized_keys
将此文件发送到hadoop103:scp -r authorized_keys hadoop103:/root/.ssh (第二个虚拟机)
hadoop103:cd /root/.ssh ---> 生成公钥私钥:ssh-keygen -t rsa
将公钥写到此文件:cat id_rsa.pub >> authorized_keys
cat authorized_keys
将此文件发送到hadoop104:scp -r authorized_keys hadoop104:/root/.ssh(第三个虚拟机)
hadoop104:cd /root/.ssh ---> 生成公钥私钥:ssh-keygen -t rsa
将公钥写到此文件:cat id_rsa.pub >> authorized_keys
cat authorized_keys
将此文件分发送到hadoop102和hadoop103:scp -r authorized_keys hadoop102:/root/.ssh (第一个虚拟机)
scp -r authorized_keys hadoop103:/root/.ssh (第二个虚拟机)
测试:hadoop102:ssh hadoop102/ssh hadoop103/ssh hadoop104
测试:hadoop103:ssh hadoop102/ssh hadoop103/ssh hadoop104
测试:hadoop104:ssh hadoop102/ssh hadoop103/ssh hadoop104
exit退出
.ssh文件夹下(~/.ssh)的文件功能解释
known_hosts | 记录ssh访问过计算机的公钥(public key) |
---|---|
id_rsa | 生成的私钥 |
id_rsa.pub | 生成的公钥 |
authorized_keys | 存放授权过得无密登录服务器公钥 |
在/opt目录下创建文件夹
(1)在/opt目录下创建module、software文件夹
[root@hadoop102 opt]$ sudo mkdir module
[root@hadoop102 opt]$ sudo mkdir software
(2)修改module、software文件夹的所有者cd
[root@hadoop102 opt]$ sudo chown atguigu:atguigu module/ software/
[root@hadoop102 opt]$ ll
总用量 8
drwxr-xr-x. 2 root root 4096 1月 17 14:37 module
drwxr-xr-x. 2 root root 4096 1月 17 14:38 software
安装JDK
卸载现有JDK
(1)查询是否安装Java软件:
[root@hadoop102 opt]$ rpm -qa | grep java
(2)如果安装的版本低于1.7,卸载该JDK:
[root@hadoop102 opt]$ sudo rpm -e --nodeps 软件包
(3)查看JDK安装路径:
[root@hadoop102 ~]$ which java
在Linux系统下的opt目录中查看软件包是否导入成功
[root@hadoop102 opt]$ cd software/
[root@hadoop102 software]$ ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz
解压JDK到/opt/module目录下
[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置JDK环境变量
(1)先获取JDK路径
[root@hadoop102 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
(2)打开/etc/profile文件
[root@hadoop102 software]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出
:wq
(4)让修改后的文件生效
[root@hadoop102 jdk1.8.0_144]$ source /etc/profile
测试JDK是否安装成功
[root@hadoop102 jdk1.8.0_144]# java -version
java version "1.8.0_144"
注意:重启(如果java -version可以用就不用重启)
[root@hadoop102 jdk1.8.0_144]$ sync
[root@hadoop102 jdk1.8.0_144]$ sudo reboot
安装Hadoop
进入到Hadoop安装包路径下
[root@hadoop102 ~]$ cd /opt/software/
解压安装文件到/opt/module下面
[root@hadoop102 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
查看是否解压成功
[root@hadoop102 software]$ ls /opt/module/
hadoop-2.7.2
将Hadoop添加到环境变量
(1)获取Hadoop安装路径
[root@hadoop102 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
(2)打开/etc/profile文件
[root@hadoop102 hadoop-2.7.2]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
[root@hadoop102 hadoop-2.7.2]$ source /etc/profile
测试是否安装成功
[root@hadoop102 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2
重启(如果Hadoop命令不能用再重启)
[root@hadoop102 hadoop-2.7.2]$ sync
[root@hadoop102 hadoop-2.7.2]$ sudo reboot
编写集群分发脚本xsync
脚本实现
在/home/atguigu目录下创建bin目录,并在bin目录下xsync创建文件,文件内容如下:
[root@hadoop102 ~]$ mkdir bin
[root@hadoop102 ~]$ cd bin/
[root@hadoop102 bin]$ touch xsync
[root@hadoop102 bin]$ vi xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
修改脚本 xsync 具有执行权限
[root@hadoop102 bin]$ chmod 777 xsync
调用脚本形式:xsync 文件名称
[root@hadoop102 bin]$ xsync /home/bin
注意:如果将xsync放到/home/bin目录下仍然不能实现全局使用,可以将xsync移动到/usr/local/bin目录下。
Hadoop目录结构
查看Hadoop目录结构
[root@hadoop102 hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 root root 4096 5月 22 2017 bin
drwxr-xr-x. 3 root root 4096 5月 22 2017 etc
drwxr-xr-x. 2 root root 4096 5月 22 2017 include
drwxr-xr-x. 3 root root 4096 5月 22 2017 lib
drwxr-xr-x. 2 root root 4096 5月 22 2017 libexec
-rw-r--r--. 1 root root 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 root root 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 root root 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 root root 4096 5月 22 2017 sbin
drwxr-xr-x. 4 root root 4096 5月 22 2017 share
重要目录
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
群起集群
配置集群
(1)核心配置文件
配置core-site.xml
[root@hadoop102 hadoop]$ vi core-site.xml
在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
(2)HDFS配置文件
配置hadoop-env.sh
[root@hadoop102 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml
[root@hadoop102 hadoop]$ vi hdfs-site.xml
<!--在该文件中编写如下配置 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
(3)YARN配置文件
配置yarn-env.sh
[root@hadoop102 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
[root@hadoop102 hadoop]$ vi yarn-site.xml
<!--在该文件中增加如下配置 -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!--日志聚集 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志信息保存在文件系统上的最长时间 秒为单位-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
(4)MapReduce配置文件
配置mapred-env.sh
[root@hadoop102 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
[root@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[root@hadoop102 hadoop]$ vi mapred-site.xml
<!--在该文件中增加如下配置 -->
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>20000</value>
</property>
在集群上分发配置好的Hadoop配置文件
[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/
查看文件分发情况
[root@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
集群单点启动
(1)如果集群是第一次启动,需要格式化NameNode
[root@hadoop102 hadoop-2.7.2]$ hadoop namenode -format
(2)在hadoop102上启动NameNode
[root@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[root@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
(3)在hadoop102、hadoop103以及hadoop104上分别启动DataNode
[root@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[root@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[root@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[root@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[root@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[root@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode
(4)思考:每次都一个一个节点启动,如果节点数增加到1000个怎么办?
早上来了开始一个一个节点启动,到晚上下班刚好完成,下班?
群起集群
配置slaves
/opt/module/hadoop-2.7.2/etc/hadoop/slaves
[root@hadoop102 hadoop]$ vi slaves
#在该文件中增加如下内容:
hadoop102
hadoop103
hadoop104
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件
[root@hadoop102 hadoop]$ xsync slaves
启动集群
(1)如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format
(2)启动HDFS
[root@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[root@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[root@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[root@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
(3)启动YARN
[root@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
(4)Web端查看 NameNode SecondaryNameNode ResourceManger
(a)浏览器中输入:http://hadoop104:50090/status.html 即可查看信息
(b)浏览器中输入:http://hadoop102:50070/ 即可查看信息
(c)浏览器中输入:http://hadoop103:8088/ 即可查看信息
集群基本测试
(1)上传文件到集群
上传小文件
[root@hadoop102 hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/root/input
[root@hadoop102 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/root/input
上传大文件
[root@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put
/opt/software/hadoop-2.7.2.tar.gz /user/root/input
(2)上传文件后查看文件存放在什么位置
(a)查看HDFS文件存储路径
[root@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.168.自己主机IP-1495462844069/current/finalized/subdir0/subdir0
(b)查看HDFS在磁盘存储文件内容
[root@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
(3)拼接
-rw-rw-r--. 1 root root 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 root root 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 root root 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 root root 495635 5月 23 16:01 blk_1073741837_1013.meta
[root@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file
[root@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file
[root@hadoop102 subdir0]$ tar -zxvf tmp.file
(4)下载
[root@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get
/user/root/input/hadoop-2.7.2.tar.gz ./
集群启动/停止方式总结
- 各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
(2)启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
(2)整体启动/停止YARN
start-yarn.sh / stop-yarn.sh