Ubuntu搭建Hadoop分布式集群
推荐一个好的翻译官方文档网站 ( http://cwiki.apachecn.org/)
运行环境
因为是为了学习,且只有一台PC,只能在虚拟机里安装Hadoop
软件配置 | 版本 |
---|---|
主机 | Win7,内存8G |
虚拟机 | VMware 14 |
Linux | ubuntu-14.04.5-desktop (使用ubuntu-18或16的话,电脑会比较卡) |
Hadoop | 2.9.1 |
JDK | 1.8 |
配置目标
搭建一台NameNode名称为master,两台DataNode名称分别为node1和node2。
搭建Hadoop分布式集群步骤
1 搭建master
新建一个Ubuntu虚拟机,命名为ubuntu_14_master。
如何在VMware里安装Ubuntu?,网上教程很多。
1.1 安装JDK
安装JDK的步骤参考之前的博客Hadoop学习笔记(一) Ubuntu安装JDK和ssh
1.2 安装SSH
SSH的工作原理自行百度吧
#查看ssh的状态判断是否已经安装了ssh,如果返回ssh: unrecognized service,说明没有安装ssh
$ sudo service ssh status
#或者如下命令查看是否有ssh的进程
$ sudo ps -e | grep ssh
#如果没有安装ssh,输入如下2个命令安装
# 1.下载最新的软件列表
$ sudo apt-get update
# 2.Ubuntu缺省没有安装SSH Server,安装如下
$ sudo apt-get install openssh-server
#如果ssh没有启动,输入下面命令启动
$ sudo service ssh start
#Ubuntu14没有在当前目录打开终端的选项,这个插件装下
$ sudo apt-get install nautilus-open-terminal
这时暂不生成秘钥,等搭建好node后再生成
1.3 安装Hadoop
安装Hadoop参考之前的博客Hadoop学习笔记(二) 安装Hadoop单节点集群
但是只要操作到第2点配置.bashrc文件就行,第3点修改Hadoop配置文件的不用看
2 搭建node
2.1 从master克隆出node
把master虚拟机关机后,右击master,选择管理>克隆,并在下一步后选择完整克隆
克隆出2个node虚拟机,命名如下
2.2 设置master和node之间SSH通信
2.2.1 在master上修改hostsname
#在master上修改hostname,保存为master
winter@master:~$ sudo gedit /etc/hostname
2.2.2 在node1和node2上修改hostsname
node1和node2上修改hostname分别为node1和node2,步骤和上面master的一样
2.2.3 修改host文件
#查看ip地址,下图中红框是ip
$ ifconfig
#3台机器的ip都查询好后,在3台机器上都修改host文件
$ sudo gedit /etc/hosts
2.2.4 在master上生成ssh秘钥
#此操作是在master上,没有.ssh文件夹就执行ssh localhost
# 1.产生SSH Key
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 2.将产生的SSH Key放到许可证文件中
$ cat id_rsa.pub >> authorized_keys
# 3.验证连接访问自己,输入密码登入,输入exit登出
$ ssh localhost
可以看出.ssh下面生成了几个文件
2.2.5 在node1和node2上生成ssh秘钥
# 1.产生SSH Key,这个是在node上操作
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2.2.6 将所有node节点上的公钥id_rsa.pub发送到master上
# 在node1上将公钥拷贝到master上
winter@node1:~/.ssh$ scp id_rsa.pub winter@master:~/.ssh/id_rsa_node1.pub
# 在node2上将公钥拷贝到master上
winter@node2:~/.ssh$ scp id_rsa.pub winter@master:~/.ssh/id_rsa_node2.pub
2.2.7 在master上将node的公钥放入authorized_keys文件里
winter@master:~/.ssh$ cat id_rsa_node1.pub >> authorized_keys
winter@master:~/.ssh$ cat id_rsa_node2.pub >> authorized_keys
#之后要删掉id_rsa_node1.pub和id_rsa_node2.pub
$ rm -rf id_rsa_node1.pub
$ rm -rf id_rsa_node2.pub
2.2.8 将master上的authorized_keys 拷贝到node1和node2上
# 在master上操作,winter是我的用户名
$ scp authorized_keys winter@node1:~/.ssh/authorized_keys
$ scp authorized_keys winter@node2:~/.ssh/authorized_keys
2.2.9 验证master和node直接的免密码登录
登录后如果不用输入密码说明配置成功,登录别的机器后要输入exit退出
#在master上
$ ssh node1
$ ssh node2
#在node1上
$ ssh master
$ ssh node2
#在node2上
$ ssh node1
$ ssh master
2.3 在master上修改Hadoop配置
2.3.1 core-site.xml
在hadoop目录下新建tmp目录,存放临时文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
</configuration>
2.3.2 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
</configuration>
2.3.3 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
2.3.4 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.3.5 slaves文件
node1
node2
2.3.6 hadoop-env.sh文件
# The java implementation to use.
export JAVA_HOME=/usr/lib/jdk/jdk1.8
2.4 将master上的hadoop配置文件同步到node
以下是在master上操作
#在master上新建namenode
$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
$ sudo chown winter:winter -R /usr/local/hadoop
#在master上登录node1
winter@master:~$ ssh node1
#新建datanode目录
$ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
# 将hadoop目录的权限给winter这个用户
winter@node1:~$ sudo chown winter:winter -R /usr/local/hadoop
#退出node1
winter@node1:~$ exit
#拷贝配置文件到node1
winter@master:~$ scp -r /usr/local/hadoop/etc/hadoop/* winter@node1:/usr/local/hadoop/etc/hadoop
#node2和node1一样操作
3 启动Hadoop集群
3.1格式化namenode
#格式化namenode目录,就执行一次,以后启动不要执行这条语句
winter@master:~$ hadoop namenode -format
如果datanode进程没有起来,报All specified directories are failed to load
参考 解决方法
3.2 启动集群
#启动HDFS
$ start-dfs.sh
#启动MapReduce框架 YARN
$ start-yarn.sh
3.3 关闭hadoop
#关闭进程
$ stop-dfs.sh
$ stop-yarn.sh
使用jps查看进程,以上进程都已关闭