Hadoop环境搭建

最新推荐文章于 2024-07-21 19:41:19 发布

码仙♥

最新推荐文章于 2024-07-21 19:41:19 发布

阅读量3.2w

点赞数 118

分类专栏： Hadoop 文章标签： hadoop big data

本文链接：https://blog.csdn.net/tswc_byy/article/details/83890297

版权

Hadoop 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

六、从master克隆slave0和slave1

8.新建Hadoop运行时产生文件的储存目录

9.给slave0和slave1复制Hadoop

10.格式化文件系统

11.启动Hadoop

12.关闭Hadoop

零、码仙励志

如果决意去做一件事，就不要问自己和别人值不值得，心甘情愿才能理所当然，理所当然才能义无反顾

一、百度云下载需要的软件

微信搜索公众号码海无际或扫描左侧二维码回复c001获取，

如果不会请给我留言或者加QQ194760901找我索要

下载好以后里面有如下软件

二、安装VM

直接双击就可以

安装位置你开心就好，我这里是默认的

到这里VM就安装完成了

三、VM网络设置

首先打开控制面板

双击下面我选中的内容

给我选中的内容打勾并且双击

然后按照我下面的配置来操作

接下来打开VM虚拟机

按照我标的序号来

到这里VM网络就设置好了

四、安装CentOS7

把虚拟机名称改为master，安装位置你开心就好

按照我的配置来，把多余的移除了，这样可以保证虚拟机运行的速度

然后等待就好了，时间有点长

不要动，继续等待

设置为中文，你要是会其他语言当我没说

你可以从这里选择安装图形用户界面，我没选

这俩个都需要设置，设置完一定要记住

设置好就等待吧，时间有点长，不对，是超级长

然后重启

输入用户名和密码登陆

出来这个就成功了

五、master网络配置

登陆成功直接输入下面命令然后回车会出现下面内容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把里面的内容修改成下面的内容

按键盘i可以修改，修改好以后先按键盘Esc键，然后使用组合键Shift+: 最后输入wq然后回车就修改好了

如果看不清上面的看下面的

然后输入下面的内容重启网路

service network restart

出现上面的内容说明重启成功

然后ping一下自己的ip

ping 192.168.56.110

出现下面内容就说明成功了

这时你会发现虚拟机就跟喝了脉动似的，根本停不下来，其实按Ctrl+c就可以停下来了

然后输入shutdown now关机为下一步做准备

六、从master克隆slave0和slave1

把虚拟机名称修改为slave0，位置你开心就好

这样slave0就复制好了，接下来用同样的方法复制slave1，这里我就不在演示了

七、slave0和slave1网络配置

首先打开slave0，然后登陆，密码和master一样

登陆成功直接输入下面命令然后回车会出现下面内容

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后把红色标记的地方修改成192.168.56.111，其余地方不修改

这样slave0就配置好了，用同样的方法配置slave1，把红色标记的地方修改成192.168.56.112

八、同步时间

首先先把三台虚拟机关机

这样一台的就设置好了，另外俩台类似，我这里就不再演示

九、Xshell5的安装与使用

1.Xshell5的作用

可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行命令操作

2.Xshell5的安装

直接双击

安装位置你开心就好

到这里就安装成功了

3.Xshell5的使用

名称随意，不过最好有意义；主机输入端口号

注意：链接之前记得把虚拟机开机

链接时需要输入用户名和密码，出现下面的内容就成功了

另外俩台操作一样，我这里不在演示

十、Xftp5的安装与使用

1.Xftp5的作用

可以同时连接多台服务器，将多台服务器连接在一台机器上操作，这样就不用在每台服务器上进行操作，方便远程操作服务器；主要是对服务器进行文件传输操作

2.Xftp5的安装

直接双击

安装位置你开心就好

到这里就安装成功了

3.Xftp5的使用

配置完下面的不要点确定，点选项

出现下面内容就说明成功了

另外俩台操作类似，我这里就不演示了

十一、关闭防火墙

首先打开并登陆master服务器

先查看防火墙状态

systemctl status firewalld.service

我标记的内容说明防火墙此时是开启状态

关闭防火墙

systemctl stop firewalld.service

该命令输入和执行后，终端不会有输出，要检查是否执行成功，可以再查看一次防火墙状态

出现我标记的内容说明关闭防火墙成功了

但是重启服务器时防火墙还会启动，所以还需要输入下面命令，防止重启服务器防火墙启动

systemctl disable firewalld.service

这样master的防火墙就关闭成功了，另外俩台也一样，我这里不做演示

十二、设置主机名

先在master服务器上操作’，输入下面命令

vi /etc/sysconfig/network

修改成下面的内容

如果看不清上面请看下面

记得要把原来的内容删除掉

然后重新启动该主机，就会发现主机名被修改了

十三、hosts设置

十四、免密钥登陆配置

首先在master服务器输入下面命令

ssh-keygen -t rsa

然后按四次回车，出现下面内容

然后输入下面命令进入ssh文件夹

cd ~/.ssh

输入下面命令可以看文件夹里面的内容

ls -l

然后输入下面命令把公钥文件发送到自己和其它服务器

发送给自己

ssh-copy-id -i id_rsa.pub root@master

输入yes

输入密码

成功后出现下面内容

然后再分别发送给slave0和slave1

验证是否成功

在master服务器输入下面的命令，都不需要输入密码，就说明成功了,注意每执行完一条命令都用exit退出一下再执行下一条

ssh master
ssh slave0
ssh slave1

十五、安装JDK

首先在master服务器的usr/local目录下新建一个java文件夹，用下面命令就可以完成

mkdir /usr/local/java

然后用Xftp连接master服务器，打开usr/local/java这个目录，把jdk-8u162-linux-x64.tar复制进去

接着用下面的命令进入到该目录

cd /usr/local/java

接着用下面的命令进行解压

tar -zxvf jdk-8u162-linux-x64.tar.gz

然后就解压好了

接下来开始配置环境变量，先用cd命令回到总目录

输入下面命令开始配置

vi /root/.bash_profile

按照我的配置来

看不清上面看下面

然后保存退出输入下面内容使环境变量生效

source /root/.bash_profile

然后输入java、javac和java -version验证，如果都出现一大堆代码说明配置成功了，如果其中有一个或多个出现不是内部或外部命令，也不是可运行的程序或批处理文件等类似语句，就说明配置失败了，需要重新配置jdk环境

这样就安装好master服务器的jdk了，但是还没有安装好slave0和slave1的jdk,我们可以用下面命令把master中的jdk复制到slave0上面

scp -r /usr/local/java root@slave0:/usr/local

这时已经把jdk复制到slave0了，但是slave0的环境变量还没有配置，我们同样可以使用下面命令来复制环境变量

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中输入下面内容使环境变量生效

source /root/.bash_profile

这样 slave0中的jdk就安装成功了，slave1，与slave0类似，这里不做演示

十六、Hadoop安装与环境配置

先用下面的命令给opt文件夹中新建一个hapoop文件夹

mkdir /opt/hadoop

然后把hadoop-2.7.5复制到hadoop文件夹中

使用下面命令进入到hadoop文件夹

cd /opt/hadoop

使用下面命令把hadoop-2.7.5进行解压

tar -zxvf hadoop-2.7.5.tar.gz

使用下面命令把hadoop-2.7.5文件夹重命名成hadoop

mv hadoop-2.7.5 hadoop

1.配置hadoop-env.sh

该文件设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前执行的环境当成远程服务器。所以这里设置的目的是确保Hadoop能正确的找到jdk。

先用cd回到主目录

然后输入下面命令进入该文件所在的文件夹

cd /opt/hadoop/hadoop/etc/hadoop

用ls就可以看到该文件

然后输入下面命令打开该文件

vi hadoop-env.sh

然后修改成下面的内容

export JAVA_HOME=/usr/local/java/jdk1.8.0_162/

2.配置core-site.xml

core-site.xm所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可

vi core-site.xml

接着把下面命令写入<configuration></configuration>中，注释不用写

<!-- 指定Hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的储存目录，默认是/tmp/hadoop-${user.name} -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/hadoop/hadoopdata</value>
</property>

3.配置hdfs-site.xml

hdfs-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可

vi hdfs-site.xml

接着把下面命令写入<configuration></configuration>中，注释不用写

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

4.配置yarn-site.xml

yarn-site.xml所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可

vi yarn-site.xml

接着把下面命令写入<configuration></configuration>中，里面自带的注释不用删除

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:18040</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:18030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:18025</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:18141</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:18088</value>
</property>

5.配置mapred-site.xml

还是在/opt/hadoop/hadoop/etc/hadoop目录下(也就是上个文件所在的目录)，有一个叫 mapred-site.xml.template的文件，把它复制到/opt/hadoop/hadoop/etc/hadoop目录下(也就是mapred-queues.xml.template文件所在的目录)重命名为mapred-site.xml，命令如下

mv mapred-site.xml.template mapred-site.xml

然后用下面命令打开该文件

vi mapred-site.xml

接着把下面命令写入<configuration></configuration>中，注释不用写

<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

6.配置slaves

slaves所在的目录和上面的目录一样，所以直接使用下面命令打开该文件即可

vi slaves

先把localhost这行删除，然后把下面代码写进去

master
slave0
slave1

7.配置Hadoop环境变量

先用cd命令回到总目录

输入下面命令开始配置

vi /root/.bash_profile

把下面命令输入进去

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后保存退出输入下面内容使环境变量生效

source /root/.bash_profile

8.新建Hadoop运行时产生文件的储存目录

先用cd命令回到总目录

接着用下面命令新建目录

mkdir /opt/hadoop/hadoopdata

9.给slave0和slave1复制Hadoop

用下面命令就可以把master的Hadoop复制到slave0上

scp -r /opt/hadoop root@slave0:/opt

用下面命令把master的Hadoop复制到slave1上

scp -r /opt/hadoop root@slave1:/opt

接着用下面命令把master的环境变量复制到slave0上

scp -r /root/.bash_profile root@slave0:/root

然后在slave0中输入下面内容使环境变量生效

source /root/.bash_profile

slave1与slave0类似，这里不做演示

10.格式化文件系统

在master中输入下面命令格式化文件系统，其余俩台服务器不用，注意该命令只能使用一次

hadoop namenode -format

11.启动Hadoop

在master服务器上，先用下面命令进入Hadoop的sbin目录

cd /opt/hadoop/hadoop/sbin

然后输入下面命令启动

start-all.sh

在三台服务器分别输入jps可以判断是否启动成功，出现下面内容说明成功

12.关闭Hadoop

只需要在master服务器输入下面命令即可

stop-all.sh

码仙♥

关注

118
点赞
踩
637

收藏

觉得还不错? 一键收藏
85
评论
Hadoop环境搭建

目录零、码仙励志一、百度云下载需要的软件二、安装VM三、VM网络设置四、安装CentOS7五、master网络配置六、从master克隆slave0和slave1七、slave0和slave1网络配置八、同步时间九、Xshell5的安装与使用1.Xshell5的作用2.Xshell5的安装3.Xshell5的使用十、Xftp5的安装与使用...
复制链接

扫一扫

专栏目录