**
前言
**
最近开始上Hadoop的企业课,今天一天最重要的事情便是搭建Hadoop集群,照着老师给的教程算是把集群搭出来了。过程不难,但的确是一个很好的学习过程,故记录下来。写博客,特别是坚持写博客是一件收益良多的事情,希望我能坚持吧!昨天看到一个公式
所谓“积跬步以至千里,积怠惰以致深渊”就是这样吧!
搭建过程
一. 首先把虚拟机导入vmware
二. 进行克隆
三. 利用xshell进行远程管理
3.1 查看虚拟机的虚拟ip
3.2 连接
账号为root,密码为123456
四. 配置
4.1 修改主机名
进入根目录下etc目录的sysconfig目录
用vim编辑
vi network
键a进入编辑模式,修改HOSTNAME
修改完成后,esc退出编辑模式,并且按shift+:
输入wq!
强制保存并退出
查看修改是否成功
cat network
修改成功,该虚拟机就作为节点1
4.2 修改ip地址
在UUID和HWADDR前加#
注释,并且把ip改成该虚拟机的虚拟ip
4.3 修改ip映射
进入根目录下etc目录,修改hosts文件
增加如下ip,以及对应的主机名(node2和node3需要后续配置)
4.4 修改虚拟网卡
进入udev/rules.d修改70-persistent-net.rules文件
vi /etc/udev/rules.d/70-persistent-net.rules
4.5 关闭防火墙
service iptables stop
chkconfig iptables off
五. 导入jdk和hadoop的压缩包
5.1 方法一
安装rz工具
yum install -y lrzsz
安装完成后,输入rz
,把jdk和hadoop的tar包装进去
5.2 方法二
利用fileZilla直接放进去即可
5.3 解压
在根目录下创建目录bd,用于存放解压后的文件
mkdir bd
解压jdk
tar -zxvf jdk-8u161-linux-x64.tar.gz -C bd
解压hadoop
tar zxvf hadoop-2.6.4.tar.gz -C bd
查看一下bd,可以看到,jdk和hadoop已经解压完成了
此时我们可以重命名一下这两个解压出来的文件
5.4 利用editplus进行jdk和hadoop的环境变量的配置
点击 文件->FTP->设置FTP服务器
选中连接hadoop1
打开/etc下的profile文件
输入以下内容(注意路径要和刚才解压的路径一致)
export JAVA_HOME=/root/bd/jdk1.8
export HADOOP_HOME=/root/bd/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
进入etc目录,重新执行profile文件
source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录
进入/root/bd/hadoop/etc/hadoop(解压hadoop的文件夹),打开hadoop-env.sh文件,修改环境变量
修改当前目录里的core-site.xml
输入
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
node1就是主机名,第二个value标签为hadoop临时文件的保存文件夹
注意:不要有中文的注释以及空格
修改当前目录里的hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>node1:50090</value>
</property>
将当前目录下的mapred-site.xml.template重命名为mapred-site.xml
修改当前目录里的mapred-site.xml,输入
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改当前目录里的slaves的内容localhost 修改成
修改当前目录里的yarn-site.xml,输入
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改完成后重启。
六. 快照克隆
6.1 拍摄快照
6.2 克隆(步骤和之前一致)
bdbaseClone的ip为192.168.50.129,则bdbaseClone2的ip为192.168.50.130,bdbaseClone3的ip为192.168.50.131
七. 修改主机名及虚拟ip
7.1 修改bdbaseClone2的主机名
vi /etc/sysconfig/network
7.2 修改虚拟ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
见下图,可见主机名和虚拟ip都已经修改完成了。
bdbaseClone3的主机名以及虚拟ip修改方式同上
修改效果如下
八. 生成ssh密钥
先在子节点1(node1)中生成密钥,输入
ssh-keygen -t rsa
输入
ssh-copy-id node1
然后在node2和node3中进行相同的操作
九. 初始化HDFS
在节点1中输入
hadoop namenode -format
进入sbin目录,启动HDFS
cd /root/bd/hadoop/sbin
start-dfs.sh
右击控制台点击发送键输到所有会话
输入
jps
十. 访问Hadoop
浏览器输入
http://192.168.50.129:50070
显示active,说明集群是运行中的。
附录
元节点、jdk等压缩包:链接:https://pan.baidu.com/s/18zrawaef5i4srhZVCjkhtw
提取码:yfsj