HADOOP 集群搭建

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量781 收藏 1
点赞数 1
文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woshiuhhhh/article/details/125267373
版权

搭建Hadoop完全分布式集群

(一·)创建虚拟机:

我的镜像是下载老师给的文件（centos7）

正在上传…重新上传取消

正在上传…重新上传取消

这里我建议选中文！（英语好的当我没说！）

正在上传…重新上传取消

牛逼的可以选最原生态的系统！（单击！）

正在上传…重新上传取消

我比较笨选可视化图形界面！

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

填一个自己记得住的密码！（你是神仙当我没说）——（点2次完成）

正在上传…重新上传取消

正在上传…重新上传取消

刚刚装完了就点重启——！

正在上传…重新上传取消

正在上传…重新上传取消

这里等的时间都够去睡个觉了！——（重启）

正在上传…重新上传取消

正在上传…重新上传取消

虚拟机创建成功啦！

（学习Hadoop，首先需要搭建Hadoop集群。Hadoop集群可以分为单机版环境，伪分布式环境和完全分布式环境，这里任务要求我们搭建完全分布式集群，要求搭建集群有一个主节点，3个子节点！）

（二）修改虚拟机配置文件：

（1）打开终端——>进入root

正在上传…重新上传取消

（2）修改虚拟机主机名为master   vim /etc/hostname   （你喜欢就master）

正在上传…重新上传取消

esc shift+: wq 保存退出

（3）关闭防火墙

1.查看防火墙状态

systemctl  status firewalld

2.关闭防火墙

systemctl  stop firewalld

3.关闭开机自启动

systemctl disable firewalld

4.查看防火墙状态

systemctl  status firewalld（此时已经关闭）

显示出这个图代表防火墙已经关闭！

正在上传…重新上传取消

（4）设置静态IP

ip route show   ---查看网关

正在上传…重新上传取消

进入网关代码！

vi /etc/sysconfig/network-scripts/ifcfg-ens33

正在上传…重新上传取消

（或者）查看自己电脑IP的另外一种方法

子网IP= IPADDR

子网掩码=NEYMASK

网关= GATEWAY

域名=DNS1       

正在上传…重新上传取消

（5）修改网关

可以查阅书本26页内容进行修改！

没台电脑的ip都是不同的  下面是我的电脑ip

正在上传…重新上传取消

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static    ---修改为static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=59642d5f-d12e-4eb4-bf1b-b9c67557c677

DEVICE=ens33

ONBOOT=yes   ---修改为yes

添加如下内容：

IPADDR=192.168.10.100   ---ip

GATEWAY=192.168.100.2  ----网关

DNS1=192.168.100.2    --- 域名

修改好后一定要记得重启网络！

代码：service network restart

（6）查看是否连接外网

代码：ping www.baidu.com

正在上传…重新上传取消

查看 显示 或 设置 网络设备

代码：ifconfig 或 ifconfig –a

正在上传…重新上传取消

显示出这些带表设置静态ip成功

（7）连接终端模拟软件

在老师或者在网络上下载好xshell  （Xshell 是一个强大的安全终端模拟软件，它支持SSH1， SSH2， 以及Microsoft Windows 平台的TELNET 协议。）

打开xshell

正在上传…重新上传取消

新建会话： （左上角）

正在上传…重新上传取消

输入自己创建虚拟机的ip

正在上传…重新上传取消

点击用户身份验证  （密码：123456）

正在上传…重新上传取消

点击确定： （如图显示表示成功连接虚拟机master）

正在上传…重新上传取消

（8）安装和配置JDK

在根目录 路径/usr/local/ 下新建soft目录  代码：cd //usr/local/ （创建目录代码：mkdir soft）

正在上传…重新上传取消

查看目录是否创建成功 代码：ll 或 ls

正在上传…重新上传取消

利用Xftp 传输已近下载在自己电脑的JDK到虚拟机（master）soft目录文件里面去

正在上传…重新上传取消

（Xftp需要下载）

蓝色地方代表在master里面寻找目录

操作：（从2拖到3）

回到虚拟机（master）soft目录查看jdk是否在当前目录下

正在上传…重新上传取消

解压jdk

代码：tar -zxvf jdk-8u171-linux-x64.tar.gz  （  ß后再次查看目录）

正在上传…重新上传取消

配置jdk环境变量 代码：vi /etc/profile

正在上传…重新上传取消

进入文件滑到最下面 编辑 (按“i”)

正在上传…重新上传取消

（添加内容如下）

#JAVA_HOME

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export PATH=$PATH:$JAVA_HOME/bin

退回终端使文件生效  代码：source /etc/profile

正在上传…重新上传取消

查看jdk  代码：java –version

正在上传…重新上传取消

出现图中参数代表jdk配置成功（jdk版本要与自己安装的一致）

Centos7可能会自带jdk我们要先删除，不过不是所有的都会带！

删除系统自带jdk参考：

正在上传…重新上传取消

(三)克隆子节点虚拟机

（1）克隆虚拟机

选中主节点虚拟机(master)，我的是caitou    操作：右键--->管理--->克隆

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

圈中地方自己选择好路径，名字从1到3，方便我们记忆。

正在上传…重新上传取消

ß出现此对话框表示我们已经克隆好了一台,裸虚拟机，称为：子节点虚拟机

（2）修改子节点虚拟机配置

打开子节点虚拟机（CH1） 密码：123456

正在上传…重新上传取消

设置主机名为CH3   代码：vim /etc/hostname   （我已经配到了CH3，你们是CH1）

正在上传…重新上传取消

（*因为是克隆机所以需要改主机名，要不然会重名）

正在上传…重新上传取消

正在上传…重新上传取消

（3）需改子节点静态IP

修改IP       代码：vi /etc/sysconfig/network-scripts/ifcfg-ens33

正在上传…重新上传取消

只要修改IP其他不用动    IP=192.168.10.103

*我的因为是第3台机了所以是103

重启子节点网络     代码： service network restart  *每一次修改好ip都要重启网络

正在上传…重新上传取消

查看IP是否修改成功    代码 ：ifconfig  或ifcongig –a  

正在上传…重新上传取消

可以看到已经是我上面配的 192.168.10.103 了

尝试ping通外网      代码 : ping www.baidu.com

正在上传…重新上传取消

可以看见可以ping通百度了

重启子节点虚拟机（CH3） 代码：reboot

正在上传…重新上传取消

可以看见已经从 CH2 变成了CH3了 哈哈哈！ （CH是我自己改喜欢的的 可以改成你们改你们自己喜欢的）

（4）其它子节点虚拟机配置

分别要克隆3台子节点虚拟机 步骤同上 一定要和配CH3一样，一定要从主节点（master）虚拟机里面克隆，

我的3台虚拟机IP：

master： IPADDR=192.168.10.100

CH1:     IPADDR=192.168.10.101

CH2:     IPADDR=192.168.10.102

CH3:     IPADDR=192.168.10.103

要保证每一台IP都能修改成功，并且可以ping通外网。

（5）主节点IP 映射

配好其他子节点后打开主节点虚拟机（master） 配置映射  代码：vim /etc/hosts

正在上传…重新上传取消

正在上传…重新上传取消

（6）发送SSH安全协议

从主节点发送ssh安全协议到3处子节点        代码：ssh-keygen -t rsa(l连续三次回车)

*注意看里面要输入一个y

正在上传…重新上传取消

到ssh目录下     代码：cd ~/.ssh

正在上传…重新上传取消

查看目录下文件有没有问题       代码：ll

正在上传…重新上传取消

把ssh安全协议密钥 分发给CH1与CH2 和CH3：

发送给CH1的代码：scp authorized_keys CH1:/root/.ssh   后面同理（NB的也可以ssh-copy-id xxx）

发送给CH2的代码：scp authorized_keys CH2:/root/.ssh

发送给CH3的代码：scp authorized_keys CH3:/root/.ssh

发送成功的截图：

*注意：

要打yes 注意大小写

Password：123456  <-密码      *要输入

正在上传…重新上传取消

要在master上面执行上面3条 同理，一条条来

测试是否可以从主节点机跳转到子节点机

测试    代码：ssh CH3

正在上传…重新上传取消

如图所示表示跳转成功！

退回主节点机继续测试其他2台子节点机器   退回代码：  exit

正在上传…重新上传取消

要测试3个

<-克隆完成

(四)Hadoop安装配置

（1）上传hadoop安装包

进入到我们装jdk的目录      代码：cd /usr/local/soft/    查看里面文件代码：ll

正在上传…重新上传取消

看见只有JDK的安装包和软件      （涂鸦地方你当没看见）

回到桌面打开Xshell 连接上主节点虚拟机（master），再打开Xftp 上传hadoop

正在上传…重新上传取消

*注意一定要在soft目录下

回到主节点虚拟机（master）  再次执行文件查看命令 ： ll

正在上传…重新上传取消

看见已经有 hadoop-2.7.7.tar.gz

解压hadoop-2.7.7.tar.gz      代码：tar -zxvf hadoop-2.7.7.tar.gz

正在上传…重新上传取消

正在上传…重新上传取消

*如图所示代表上传解压完成    *在此界面表示hadoop以及安装成功在虚拟机上

（2）配置hadoop环境变量  

***以下添加内容无需修改直接复制

配置环境变量        代码：vi /etc/profile

正在上传…重新上传取消

按i 添加内容  添加内容如下：  

#HADOOP     不用修改

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.7

export PATH=$PATH:${HADOOP_HOME}/bin

export PATH=$PATH:${HADOOP_HOME}/sbin

正在上传…重新上传取消

保存退出查看Hadoop是否配置成功

输入代码：source /etc/profile(使环境变量生效)

正在上传…重新上传取消

查看hadoop配置           代码：hadoop version

正在上传…重新上传取消

如图所示表示配置成功

（3）修改hadoop配置文件

进入hadoop目录                   代码：cd /usr/local/soft/hadoop-2.7.7/etc/hadoop/

正在上传…重新上传取消

使用ll 可以看见很多的文件

修改 slaves文件

代码：vi slaves

正在上传…重新上传取消

修改内容为子节点名字     如下图所示：

正在上传…重新上传取消

以下文件关乎到Hadoop成功失败

* 修改hadoop-env.sh文件

 代码： vi hadoop-env.sh

添加内容：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

正在上传…重新上传取消

退出

*修改 core-site.xml      将下面的配置参数加入进去修改成对应自己的

代码：vi core-site.xml

正在上传…重新上传取消

添加内容:

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/usr/local/soft/hadoop-2.7.7/tmp</value>

        </property>

    <property>

                 <name>fs.trash.interval</name>

                 <value>1440</value>

        </property>

</configuration>

保存退出！

*修改 hdfs-site.xml

代码： vi hdfs-site.Xml

正在上传…重新上传取消

添加内容：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

*配置yarn-site.xml

代码：vi yarn-site.xml

正在上传…重新上传取消

添加内容：

<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

*修改 mapred-site.xml

将mapred-site.xml.template 复制一份为 mapred-site.xml

代码：cp mapred-site.xml.template mapred-site.xml

正在上传…重新上传取消

修改mapred-site.xml文件

代码：vi mapred-site.xml

正在上传…重新上传取消

添加内容：

<configuration>

   <property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>  

<name>mapreduce.jobhistory.address</name>  

<value>master:10020</value>  

</property>  

<property>  

<name>mapreduce.jobhistory.webapp.address</name>  

<value>master:19888</value>  

</property>

</configuration>

到这里文件以及修改完成！

（4）发送hadoop文件到子节点

将hadoop的安装目录分别拷贝到其他子节点

代码：

scp -r /usr/local/soft/hadoop-2.7.7  CH1:/usr/local/soft/

一条一条来

scp -r /usr/local/soft/hadoop-2.7.7  CH2:/usr/local/soft/

一条一条来

scp -r /usr/local/soft/hadoop-2.7.7  CH3:/usr/local/soft/

(5) 启动Hadoop

首先看下hadoop-2.7.7目录下有没有tmp文件夹

代码：cd  /usr/local/soft/hadoop-2.7.7目录下

如果没有 执行一次格式化命令：   执行命令：./bin/hdfs namenode -format

正在上传…重新上传取消

进入Hadoop目录：

cd /usr/local/soft/hadoop-2.7.7目录下

  启动执行： sbin/start-dfs.sh

正在上传…重新上传取消

sbin/start-dfs.sh  启动成功

  启动执行： sbin/start-yarn.sh

  

正在上传…重新上传取消

sbin/start-yarn.sh 启动成功

启动执行： sbin/mr-jobhistory-daemon.sh start historyserver

正在上传…重新上传取消

sbin/mr-jobhistory-daemon.sh start historyserver 启动成功

启动完成后通过jps命令查看验证进程：  代码：jps

主节点进程为下面几个（下面是进程名称，不是命令）：

正在上传…重新上传取消

子节点进程 （在CH1和CH2和CH3上分别输入命令：jps）

CH1节点

正在上传…重新上传取消

CH2 节点

正在上传…重新上传取消

CH3一样

必须要有以上进程才算成功，要不然Hadoop跑不了

(五)HADOOP搭建完成截图

（1）HDFS Web界面

正在上传…重新上传取消

（2）YARN WEB界面

正在上传…重新上传取消

（3）MapReduce Web 界面

正在上传…重新上传取消

（完结）

关闭日志文件：

代码：sbin/mr-jobhistory-daemon.sh stop historyserver

搭建Hadoop完全分布式集群

(一·)创建虚拟机:

我的镜像是下载老师给的文件（centos7）

正在上传…重新上传取消

正在上传…重新上传取消

这里我建议选中文！（英语好的当我没说！）

正在上传…重新上传取消

牛逼的可以选最原生态的系统！（单击！）

正在上传…重新上传取消

我比较笨选可视化图形界面！

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

填一个自己记得住的密码！（你是神仙当我没说）——（点2次完成）

正在上传…重新上传取消

正在上传…重新上传取消

刚刚装完了就点重启——！

正在上传…重新上传取消

正在上传…重新上传取消

这里等的时间都够去睡个觉了！——（重启）

正在上传…重新上传取消

正在上传…重新上传取消

虚拟机创建成功啦！

（学习Hadoop，首先需要搭建Hadoop集群。Hadoop集群可以分为单机版环境，伪分布式环境和完全分布式环境，这里任务要求我们搭建完全分布式集群，要求搭建集群有一个主节点，3个子节点！）

（二）修改虚拟机配置文件：

（1）打开终端——>进入root

正在上传…重新上传取消

（2）修改虚拟机主机名为master   vim /etc/hostname   （你喜欢就master）

正在上传…重新上传取消

esc shift+: wq 保存退出

（3）关闭防火墙

1.查看防火墙状态

systemctl  status firewalld

2.关闭防火墙

systemctl  stop firewalld

3.关闭开机自启动

systemctl disable firewalld

4.查看防火墙状态

systemctl  status firewalld（此时已经关闭）

显示出这个图代表防火墙已经关闭！

正在上传…重新上传取消

（4）设置静态IP

ip route show   ---查看网关

正在上传…重新上传取消

进入网关代码！

vi /etc/sysconfig/network-scripts/ifcfg-ens33

正在上传…重新上传取消

（或者）查看自己电脑IP的另外一种方法

子网IP= IPADDR

子网掩码=NEYMASK

网关= GATEWAY

域名=DNS1       

正在上传…重新上传取消

（5）修改网关

可以查阅书本26页内容进行修改！

没台电脑的ip都是不同的  下面是我的电脑ip

正在上传…重新上传取消

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static    ---修改为static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=59642d5f-d12e-4eb4-bf1b-b9c67557c677

DEVICE=ens33

ONBOOT=yes   ---修改为yes

添加如下内容：

IPADDR=192.168.10.100   ---ip

GATEWAY=192.168.100.2  ----网关

DNS1=192.168.100.2    --- 域名

修改好后一定要记得重启网络！

代码：service network restart

（6）查看是否连接外网

代码：ping www.baidu.com

正在上传…重新上传取消

查看 显示 或 设置 网络设备

代码：ifconfig 或 ifconfig –a

正在上传…重新上传取消

显示出这些带表设置静态ip成功

（7）连接终端模拟软件

在老师或者在网络上下载好xshell  （Xshell 是一个强大的安全终端模拟软件，它支持SSH1， SSH2， 以及Microsoft Windows 平台的TELNET 协议。）

打开xshell

正在上传…重新上传取消

新建会话： （左上角）

正在上传…重新上传取消

输入自己创建虚拟机的ip

正在上传…重新上传取消

点击用户身份验证  （密码：123456）

正在上传…重新上传取消

点击确定： （如图显示表示成功连接虚拟机master）

正在上传…重新上传取消

（8）安装和配置JDK

在根目录 路径/usr/local/ 下新建soft目录  代码：cd //usr/local/ （创建目录代码：mkdir soft）

正在上传…重新上传取消

查看目录是否创建成功 代码：ll 或 ls

正在上传…重新上传取消

利用Xftp 传输已近下载在自己电脑的JDK到虚拟机（master）soft目录文件里面去

正在上传…重新上传取消

（Xftp需要下载）

蓝色地方代表在master里面寻找目录

操作：（从2拖到3）

回到虚拟机（master）soft目录查看jdk是否在当前目录下

正在上传…重新上传取消

解压jdk

代码：tar -zxvf jdk-8u171-linux-x64.tar.gz  （  ß后再次查看目录）

正在上传…重新上传取消

配置jdk环境变量 代码：vi /etc/profile

正在上传…重新上传取消

进入文件滑到最下面 编辑 (按“i”)

正在上传…重新上传取消

（添加内容如下）

#JAVA_HOME

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export PATH=$PATH:$JAVA_HOME/bin

退回终端使文件生效  代码：source /etc/profile

正在上传…重新上传取消

查看jdk  代码：java –version

正在上传…重新上传取消

出现图中参数代表jdk配置成功（jdk版本要与自己安装的一致）

Centos7可能会自带jdk我们要先删除，不过不是所有的都会带！

删除系统自带jdk参考：

正在上传…重新上传取消

(三)克隆子节点虚拟机

（1）克隆虚拟机

选中主节点虚拟机(master)，我的是caitou    操作：右键--->管理--->克隆

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

正在上传…重新上传取消

圈中地方自己选择好路径，名字从1到3，方便我们记忆。

正在上传…重新上传取消

ß出现此对话框表示我们已经克隆好了一台,裸虚拟机，称为：子节点虚拟机

（2）修改子节点虚拟机配置

打开子节点虚拟机（CH1） 密码：123456

正在上传…重新上传取消

设置主机名为CH3   代码：vim /etc/hostname   （我已经配到了CH3，你们是CH1）

正在上传…重新上传取消

（*因为是克隆机所以需要改主机名，要不然会重名）

正在上传…重新上传取消

正在上传…重新上传取消

（3）需改子节点静态IP

修改IP       代码：vi /etc/sysconfig/network-scripts/ifcfg-ens33

正在上传…重新上传取消

只要修改IP其他不用动    IP=192.168.10.103

*我的因为是第3台机了所以是103

重启子节点网络     代码： service network restart  *每一次修改好ip都要重启网络

正在上传…重新上传取消

查看IP是否修改成功    代码 ：ifconfig  或ifcongig –a  

正在上传…重新上传取消

可以看到已经是我上面配的 192.168.10.103 了

尝试ping通外网      代码 : ping www.baidu.com

正在上传…重新上传取消

可以看见可以ping通百度了

重启子节点虚拟机（CH3） 代码：reboot

正在上传…重新上传取消

可以看见已经从 CH2 变成了CH3了 哈哈哈！ （CH是我自己改喜欢的的 可以改成你们改你们自己喜欢的）

（4）其它子节点虚拟机配置

分别要克隆3台子节点虚拟机 步骤同上 一定要和配CH3一样，一定要从主节点（master）虚拟机里面克隆，

我的3台虚拟机IP：

master： IPADDR=192.168.10.100

CH1:     IPADDR=192.168.10.101

CH2:     IPADDR=192.168.10.102

CH3:     IPADDR=192.168.10.103

要保证每一台IP都能修改成功，并且可以ping通外网。

（5）主节点IP 映射

配好其他子节点后打开主节点虚拟机（master） 配置映射  代码：vim /etc/hosts

正在上传…重新上传取消

正在上传…重新上传取消

（6）发送SSH安全协议

从主节点发送ssh安全协议到3处子节点        代码：ssh-keygen -t rsa(l连续三次回车)

*注意看里面要输入一个y

正在上传…重新上传取消

到ssh目录下     代码：cd ~/.ssh

正在上传…重新上传取消

查看目录下文件有没有问题       代码：ll

正在上传…重新上传取消

把ssh安全协议密钥 分发给CH1与CH2 和CH3：

发送给CH1的代码：scp authorized_keys CH1:/root/.ssh   后面同理（NB的也可以ssh-copy-id xxx）

发送给CH2的代码：scp authorized_keys CH2:/root/.ssh

发送给CH3的代码：scp authorized_keys CH3:/root/.ssh

发送成功的截图：

*注意：

要打yes 注意大小写

Password：123456  <-密码      *要输入

正在上传…重新上传取消

要在master上面执行上面3条 同理，一条条来

测试是否可以从主节点机跳转到子节点机

测试    代码：ssh CH3

正在上传…重新上传取消

如图所示表示跳转成功！

退回主节点机继续测试其他2台子节点机器   退回代码：  exit

正在上传…重新上传取消

要测试3个

<-克隆完成

(四)Hadoop安装配置

（1）上传hadoop安装包

进入到我们装jdk的目录      代码：cd /usr/local/soft/    查看里面文件代码：ll

正在上传…重新上传取消

看见只有JDK的安装包和软件      （涂鸦地方你当没看见）

回到桌面打开Xshell 连接上主节点虚拟机（master），再打开Xftp 上传hadoop

正在上传…重新上传取消

*注意一定要在soft目录下

回到主节点虚拟机（master）  再次执行文件查看命令 ： ll

正在上传…重新上传取消

看见已经有 hadoop-2.7.7.tar.gz

解压hadoop-2.7.7.tar.gz      代码：tar -zxvf hadoop-2.7.7.tar.gz

正在上传…重新上传取消

正在上传…重新上传取消

*如图所示代表上传解压完成    *在此界面表示hadoop以及安装成功在虚拟机上

（2）配置hadoop环境变量  

***以下添加内容无需修改直接复制

配置环境变量        代码：vi /etc/profile

正在上传…重新上传取消

按i 添加内容  添加内容如下：  

#HADOOP     不用修改

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.7

export PATH=$PATH:${HADOOP_HOME}/bin

export PATH=$PATH:${HADOOP_HOME}/sbin

正在上传…重新上传取消

保存退出查看Hadoop是否配置成功

输入代码：source /etc/profile(使环境变量生效)

正在上传…重新上传取消

查看hadoop配置           代码：hadoop version

正在上传…重新上传取消

如图所示表示配置成功

（3）修改hadoop配置文件

进入hadoop目录                   代码：cd /usr/local/soft/hadoop-2.7.7/etc/hadoop/

正在上传…重新上传取消

使用ll 可以看见很多的文件

修改 slaves文件

代码：vi slaves

正在上传…重新上传取消

修改内容为子节点名字     如下图所示：

正在上传…重新上传取消

以下文件关乎到Hadoop成功失败

* 修改hadoop-env.sh文件

 代码： vi hadoop-env.sh

添加内容：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

正在上传…重新上传取消

退出

*修改 core-site.xml      将下面的配置参数加入进去修改成对应自己的

代码：vi core-site.xml

正在上传…重新上传取消

添加内容:

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/usr/local/soft/hadoop-2.7.7/tmp</value>

        </property>

    <property>

                 <name>fs.trash.interval</name>

                 <value>1440</value>

        </property>

</configuration>

保存退出！

*修改 hdfs-site.xml

代码： vi hdfs-site.Xml

正在上传…重新上传取消

添加内容：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

*配置yarn-site.xml

代码：vi yarn-site.xml

正在上传…重新上传取消

添加内容：

<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

*修改 mapred-site.xml

将mapred-site.xml.template 复制一份为 mapred-site.xml

代码：cp mapred-site.xml.template mapred-site.xml

正在上传…重新上传取消

修改mapred-site.xml文件

代码：vi mapred-site.xml

正在上传…重新上传取消

添加内容：

<configuration>

   <property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>  

<name>mapreduce.jobhistory.address</name>  

<value>master:10020</value>  

</property>  

<property>  

<name>mapreduce.jobhistory.webapp.address</name>  

<value>master:19888</value>  

</property>

</configuration>

到这里文件以及修改完成！

（4）发送hadoop文件到子节点

将hadoop的安装目录分别拷贝到其他子节点

代码：

scp -r /usr/local/soft/hadoop-2.7.7  CH1:/usr/local/soft/

一条一条来

scp -r /usr/local/soft/hadoop-2.7.7  CH2:/usr/local/soft/

一条一条来

scp -r /usr/local/soft/hadoop-2.7.7  CH3:/usr/local/soft/

(5) 启动Hadoop

首先看下hadoop-2.7.7目录下有没有tmp文件夹

代码：cd  /usr/local/soft/hadoop-2.7.7目录下

如果没有 执行一次格式化命令：   执行命令：./bin/hdfs namenode -format

正在上传…重新上传取消

进入Hadoop目录：

cd /usr/local/soft/hadoop-2.7.7目录下

  启动执行： sbin/start-dfs.sh

正在上传…重新上传取消

sbin/start-dfs.sh  启动成功

  启动执行： sbin/start-yarn.sh

  

正在上传…重新上传取消

sbin/start-yarn.sh 启动成功

启动执行： sbin/mr-jobhistory-daemon.sh start historyserver

正在上传…重新上传取消

sbin/mr-jobhistory-daemon.sh start historyserver 启动成功

启动完成后通过jps命令查看验证进程：  代码：jps

主节点进程为下面几个（下面是进程名称，不是命令）：

正在上传…重新上传取消

子节点进程 （在CH1和CH2和CH3上分别输入命令：jps）

CH1节点

正在上传…重新上传取消

CH2 节点

正在上传…重新上传取消

CH3一样

必须要有以上进程才算成功，要不然Hadoop跑不了

(五)HADOOP搭建完成截图

（1）HDFS Web界面

正在上传…重新上传取消

（2）YARN WEB界面

正在上传…重新上传取消

（3）MapReduce Web 界面

正在上传…重新上传取消

（完结）

关闭日志文件：

代码：sbin/mr-jobhistory-daemon.sh stop historyserver

正在上传…重新上传取消

关闭 yarn

  代码：sbin/stop-yarn.sh

正在上传…重新上传取消

关闭 dfs

   代码： sbin/stop-dfs.sh

正在上传…重新上传取消

正在上传…重新上传取消

关闭 yarn

  代码：sbin/stop-yarn.sh

正在上传…重新上传取消

关闭 dfs

   代码： sbin/stop-dfs.sh

正在上传…重新上传取消

CH-HK
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于虚拟机的hadoop分布式集群搭建（搭建成功）
Bean771606540的博客
11-01 593
【正式安装】 1. 安装VMware、安装ubuntu16.04 这里就不截图了，详细安装过程百度一下或参考：http://blog.itpub.net/26230597/viewspace-1255651/ 注意事项： （1）安装顺序：虚拟机节点先安装一个，完成基本配置后通过“克隆”的方式复制另外两个，这样既可以保证环境统一，又比较方便。 （2）网络连接：选择桥接方式。建议最好手动把IP地址固定...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1020
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop的安装、配置过程和集群运行截图。
06-06
较为完善的Hadoop伪分布式安装、配置过程以及运行截图 全程跟着安装配置的一般不会出现问题，jdk版本尽量选择和Hadoop版本相容的，Hadoop版本可以选择较低版本，2.7版本较为稳定，Linux系统版本没有多大要求，一般将Hadoop和jdk版本选择好就行，这个作业较为简单，在安装时如果出现文件问题，一般情况下是core这个文件配置出错，注意路径的正确填写，路径是你Hadoop的安装路径下的文件路径，注意辨别。希望对大家有帮助。 Linux：16.04 hadoop:2.7.3 jdk:1.8
Hadoop集群搭建（附截图）
VampirePope的博客
02-04 820
Hadoop集群配置过程BootProto改为static，ONBOOT改为yes2. 修改hostname3. 修改虚拟机网络编辑器4. 配置本地网络vnet85. 关闭防火墙这个是为了后面主节点与子节点的连通6. 重启网络服务7. 解压hadoop.tar.gz把hadoop-3.1.4文件夹移动到指定路径下这里我的是/usr/local/8. 解压jdk的rpm包安装 java 的 jdk 环境。
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 2188
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
hadoop集群准备（笔记截图版）
aodui8739的博客
07-17 174
　　硬件：在一台mac proc上，使用四台linux虚拟机搭建集群。 　　大致步骤： 　　创建一个虚拟机，并克隆三份 　　　　 　　安装java 并配置环境变量 　　ssh免密 　　 　　将用户加入sudoers 　　 　　更改主机名 　　 　 转载于:https://www.cnblogs.com/...
hadoop集群安装（笔记截图版）
aodui8739的博客
07-17 458
转载于:https://www.cnblogs.com/star-00/p/11199606.html
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1045
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
win10 下搭建hadoop（成功截图）
总钻风
06-24 735
单机版hadoop -->
Hadoop集群搭建图文
qq_36879870的博客
03-14 322
Hadoop分布式文件存储系统需要ssh 免密登录支撑 创建三个同名同密码的用户s 具体步骤详见之前的博客 然后配置Hadoop集群 1.ROOT用户下解压Hadoop 授权给用户 chown -R s /usr/hadoop 2.创建hdfs相关文件 创建存储hadoop数据文件的目录: mkdir /usr/local/src/hadoopdir 存储临时文件，...
Hadoop集群搭建图文详解
AloneCoding的博客
06-25 429
前期准备 搭建虚拟机，修改虚拟机网关，关闭移除防火墙。 在根目录下新建software文件夹，将jdk和hadoop相关文件夹拖进文件夹 解压jdk到opt文件夹，配置jdk环境变量 虚拟机及jdk安装配置过程大家可以到博主前面的博客去找 修改主机名 方法一：vi /etc/hostname 方法二：hostnamectl set-hostname hadoop01（配置后立即生效） 修改主机列表: vi /etc/hostname 配置免密登录 ssh-keygen -t rsa -P ""
Hadoop必经之路---环境搭建成功！简单截图记录
I am David!
08-23 1922
JPS状态Applications状态Namenode信息状态
超详解Hadoop集群环境配置，步步附有截图，一篇讲解清楚
热门推荐
weixin_46429290的博客
12-10 1万+
Hadoop集群配置 1）集群部署规划 注意： ①NameNode和SecondaryNameNode不要安装在同一台服务器上。NN和2NN的关系就好像是NN的补充是2NN，如果安装在同一个机器上，机器一挂，NN和2NN全挂，完全不需要2NN对NN的补充 ②ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上 所以安装规划如下 hadoop102 hadoop103 hadoop104 HDFS NameNodeDataN
Hadoop集群环境搭建（超详细）
ZIYE_190的博客
03-17 3137
Hadoop集群环境搭建
Hadoop集群搭建
QQ858050659的博客
06-24 1381
目录导引Hadoop集群搭建1.安装VMware Workstation 16 PRO2.基于VMware Workstation 16 PRO安装Centos7完全分布式安装1.Hadoop集群节点设置2.准备三台虚拟机2.1找到我们上面做好的虚拟机的根目录2.2用vmware打开master、slave1、slave2文件夹下的虚拟机，并重命名2.3修改master、slave1、slave2的ip 2.4修改master、slave1、slave2的主机名和IP的映射2.5设置免密登录和关闭防火墙2.
搭建Hadoop本地模式、伪分布模式和全分布模式集群
三头六臂的博客
05-15 2562
1、环境准备 1.1、服务器和软件准备 服务器 内存 容量 系统 软件 版本 数量 linux 4g 100G centos8.0 jdk 1.8 5 hadoop 2.7.3 这里我用的云服务器（大家可以在自己的电脑安装虚拟机，配置内存可以调整为2g，容量的话60G就行），不方便透露服务器的IP，所以3台服务器的IP分别是A、B、C 、E和F hadoop软件下载可以到对应的官网下载hadoop-....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值