Hadoop搭建完全分布式集群
最近公司事情不是很多,趁此机会,学习一下大数据的内容,正好公司之后也要使用大数据方面的技术进行数据分析,所以提前学习一下,也好做个准备.以防忘记,写下博客来记录一下学习过程.
搭建准备
首先我们需要建三台新的虚拟机：
- 使用VMware搭建新建一台虚拟机,我这里使用的是centos系统.(说起这个,比较吐血,我最开始一直是使用的Ubuntu,然后再学习es,rocketmq…之类的时候,去网上找的教程全是centos的,每次折腾虚拟机都要耗费不少时间,很是蛋疼.决定学习hadoop之后,毕竟是一个新的领域,所以准备重新开始,所以改用centos.结果,现在网上找点教程,全变成Ubuntu了,心累,感觉受到了针对,朋友)；
- 将虚拟机配置一下静态ip(必须的啊,不然鬼找得到你主机在哪)；
// 修改静态ip(每个机器的网卡文件名称不一样,)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改如下:
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="a7239cff-3e26-4d23-bab6-176ba0b88895"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.50.103"
GATEWAY="192.168.50.1"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
主要是修改几个 BOOTPROTO改为static,ONBOOT改为yes ,IPADDR,GATEWAY,NETMASK,DNS1(可选)
三台机器都要改,并且修改的ip要在同一网段内.
- 修改一下主机名,方便区分和联合 ；
//hostnamectl 永久主机名 是对/etc/hostname文件的内容进行修改
hostnamectl hadoop103
//或者 vim /etc/hostname 性质是一样的
修改完后可以再次使用hostnamectl查看一下是否修改成功.
5. 然后还要修改一下主机(),要把其他机器的主机名和ip映射关联起来?；
vim /etc/hosts
增加几行
192.168.50.101 hadoop101
192.168.50.102 hadoop102
192.168.50.103 hadoop103
192.168.50.104 hadoop104
192.168.50.105 hadoop105
这个呢,根据我的理解,应该算是给同网段下的ip和主机名进行一个映射,这样就可以通过主机名对ip所在主机进行访问了吧?有大佬看到可以帮忙指点一下吗.
其他虚拟机也做相同配置.这边想偷个懒的话 就先配置一台机器,然后用VMware克隆n台出来.这样可以减少一点工作量.
配置ssh和编写一个分发shell脚本
1. 编写一个shell脚本用于分发文件
这个是因为我们要搭建集群,所以对于hadoop的配置需要每台机器都做相同配置,目前我们只做三台机器的配置,还可以做到手动分发,但是实际使用时,不一定是三台,如果有100台机器集群,手动分发肯定是不现实的.所以接下来就编写一个shell脚本,用于文件分发.
远程分发,linux中有两个命令,rsync和scp.都可以做到远程复制.那么两者的区别是什么呢.
1. scp的效率比rsync的效率会高.因为scp非常不占用资源,rsync比scp快一点,但是如果小文件众多的话,占用I/O非常多,影响系统使用.
2. rsync会对比文件差异,只传输差异部分,适合做增量或全量备份,而scp只能做全量备份
3. rsync是非加密传输,scp是加密传输.
4. rsync复制可以附带软/硬链接.
我们这里选择使用rsync来进行分发,下来来编写一个xsync.sh
vim xsync.sh
内容如下:
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<106; host++)); do
echo ------------------- hadoop$host --------------
rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
为了方便使用,我们把脚本放到 /bin, 这样就可以在任意目录调用此脚本了.
chmod +x xsync
sudo cp xsync /bin
sudo xsync /bin/xsync
2. 配置ssh无密登录
一般虚拟机会自带ssh,如果没有的话,就用apt-get install .呸 用 yum 安装一下.
进入.ssh cd ~/.ssh/
使用
ssh-keygen -t rsa
生成密钥对.
然后使用我们的分发脚本,将整个.ssh发送到各台机器上.
xsync ~/atguigu/.ssh
试一下配置是否成功,
ssh hadoop104 //第一次需要输入密码. exit退出登录,再重新登录一次.不需要密码则成功配置了ssh无密登录
至此,虚拟机的准备算是弄好了.
java和hadoop
1. 安装java和hadoop以及环境变量配置
将准备好的java的tar包和hadoop的tar包copy到一台主机上. 并且解压. tar -zxvf
然后配置环境变量
sudo vim /etc/profile
在该文件末尾追加几行
#JAVA_HOME
#java解压后的tar包位置
export JAVA_HOME=/opt/module/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
#hadoop解压后的tar包位置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行命令使环境变量立即生效
source /etc/profile
然后使用 java -version, hadoop version 查看是否配置成功
2. 配置hadoop运行的xx-env.sh
先配置几个env,进入解压后的hadoop文件夹下.然后
//这里是进入hadoop文件夹下的etc,而不是linux的.之前碰到这个问题,
//怎么也找不到文件.
cd etc/hadoop/
使用vim命令将 hadoop-env.sh,yarn-env.sh,mapred-env.sh这几个文件,进行追加一下依赖jdk环境.
export JAVA_HOME=/opt/module/jdk1.8.0_231
3. 配置core-site.xml
将下面这段xml配置直接复制到hadoop-2.7.2/etc/hadoop/core-site.xml的
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop103:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
4. 配置hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>
dfs.namenode.secondary.http-address
</name>
<value>hadoop103:50090 </value>
</property>
</configuration>
5. 配置yarn-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>
dfs.namenode.secondary.http-address
</name>
<value>hadoop103:50090 </value>
</property>
</configuration>
6. 配置mapred-site.xml
<configuration>
<!--指定MR运行的地方 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop105:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop105:19888</value>
</property>
</configuration>
7. 配置slaves
vim etc/hadoop/slaves
追加以下内容
hadoop103
hadoop104
hadoop105
保存退出.
8. 分发配置
使用之前编写的分发脚本 xsync 将配置分发到其他几台虚拟机上.
xsync /opt/module/hadoop-2.7.2/etc
然后格式化namenode,在hadoop103上进行格式化
hdfs namenode -format
至此,hadoop完全分布式集群搭建完毕.
运行测试
在hadoop103上运行
hadoop-daemon.sh start namenode/datanode/secondarynamenode
在hadoop104上运行
yarn-daemon.sh start resourcemanager/nodemanager
然后使用jps命令查看进程是否启动.
如果未启动,在使用脚本启动时,会产生一个路径进行日志输出, 查看启动日志 log.
至此 hadoop完全分布式集群搭建成功!并且顺利运行.
扫一扫
1715
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
