搭建这个hadoop集群电脑表示要离家出走！

最新推荐文章于 2023-06-15 11:37:29 发布

♚ 悲欢自饮

最新推荐文章于 2023-06-15 11:37:29 发布

阅读量454

点赞数

分类专栏：教程文章标签： hadoop linux centos 6 centos 大数据

本文链接：https://blog.csdn.net/qq_52558242/article/details/114708227

版权

教程专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.hadoop集群搭建的详细过程

实验前的准备：

== jdk ==
jdk-8u11-linux-x64.tar.gz
提取码：wgte

== hadoop ==
hadoop-2.10.1.tar.gz
提取码：bfxz

== VMware ==
官网下载

== centOS -XXX…-iso ==
文件过大阿里云镜像下载

== Xshell或其他软件 ==

2.jdk的安装和环境变量的配置,hadoop的安装

此处不再做过多解释，大厅有详解

3hadoop的下载安装

windows安装hadoop教程

4.VM的下载和安装

Alt
更改安装位置,选择加入path环境，选择安装位置，点击下一步。
Alt
直接下一步，vmware会自己安装，等待即可。

搭建环境并创建虚拟机

教程

搭建hadoop需要三个虚拟机，但是对电脑配置要求便较高，如果电脑不适用就选择克隆虚拟机不要创建，不然会卡。

克隆的过程：
右键点击创建的虚拟机comepter_one,在点击管理，点击克隆
在这里插入图片描述
点第二个，下一步。
Alt
最后选择位置，输入名称就ok了。

创建三个虚拟机，即可。

在这里插入图片描述
点击开启，三个都开打开Xshell，在centOS中输入** ifconfig ** 查看ip地址。

点击file中的new会跳出下图

编辑name，在host输入上面查到的ip，完成后点击图中Authentication。

在user name中输入创建虚拟机时建的用户和密码，建议直接root用，不然后面还要获取root权限，完成都点击connect。
在这里插入图片描述
链接成功后时== root@username ==，三个虚拟机依次链接。

5.虚拟网络配置

在开始界面搜索虚拟网络配置器，或者在计算机设置里找
在这里插入图片描述
点击NAT模式，在点击NAT设置查看网关，子网掩码。

在Xshell中输入：vim /etc/sysconfig/network-scripts/ifcfg-eth0这窜代码，按i进入编辑模式输入（注：vim后有空格）：

名称	Value
DEVICE=	eth0
BOOTPROTO=	static
ONBOOT=	yes
IPADDR=	IP地址
GATEWAY=	网关
NETMASK=	子网掩码
DNS1=	8.8.8.8

字符串要有引号包裹BOOTPROTO=“static”，ip地址时最开始在虚拟机中查到的地址，数字不用引号。

输入完成后按ESC切换命令模式，SHIFT+：输入wq后按ENTER保存退出。

6.更改主机名称

命令：
hostname  查看主机名
hostnamectl set-hostname [克隆时的名称]   
(方法不限这一种)

7. 建立主机名与ip地址的映射

输入 vim /etc/hosts修改，方法和上面的一样** i—>编辑模式（下面有一个enter标志）—>输入ip地址和名称（ip地址依然是在centOS中查的，名称时之前改的)—>ESC—>SHIFT+:—>wq—>enter(就ok了）这只Linux的命令如果遇到其他问题自行上网查找，查看：cat /etc/hosts。

三个虚拟机都要改！！！

8.关闭防火墙

状态查看：systemctl status firewalld.service

在这里插入图片描述

图中Active是状态，后面显示表示关闭（我已经关闭了）关闭代码是：

关闭代码：systemctl stop firewalld.service

永久关闭：systemctl disable firewalld.service

后面两个代码依次输入就可以永久关闭，最后用第一个查看是否关闭成功，是图中状态就成功了。

9.SSH免密码登录[^2]

重点

// 步骤：
在root用户下输入ssh-keygen -t rsa 三次回车(图一)
接着输入cd ~/.ssh 后回车
输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
再输入chmod 600 ~/.ssh/authorized_keys
输入cat authorized_keys
出现如图的问句是输入yes即可（图二）
之后就可以输入ssh-copy-id 名称 添加机器就OK了（两台虚拟机）
ssh 名称 （切换）
== 间隙大的有空格 ==

出现下图即可
图一（密钥生成）
图二(

还有一种情况如图

Alt
出现这样的错误导致不能切换登录可输入vi ~/.ssh/known_hosts
并将与该主机ip地址相同的内容全部删去即可

10.安装JDK找到jdk的绝对路径

jdk安装和解压

(1)先再虚拟机中建立jdk的目录，可以建再桌面，也可以再其他目录但自己要清楚它的绝对路径。命令是 mkdir /home/jdk（home是我的主目录）
(2)将下载的jdk的压缩包上传到其中一个虚拟机中，可以直接拖拽，如果不能的可以下载Xftp传输文件的软件进行上传。
(3)进入虚拟机的界面右键点击->进入终端界面->tar -zxvf home/jdk ** (这是解压命令，如果不行，就再桌面调出子目录后提取也可) **
(4)如图是成功安装的标志(我已经解压所以有前面的文件夹)
在这里插入图片描述

jdk环境变量的配置

(1)输入 == vim /etc/profile == 进入编辑模式添加：(命令前面已讲)

export JAVA_HOME=/home/jdk （对应自己的jdk目录,jdk名称写完整）
export PATH= $P A T H :$ JAVA_HOME/bin （到bin目录）

// 验证：
source /etc/profile
java -version 
出现java版本型号是就配置成功

(2)将工作目录复制到其余节点：
scp -r /home/jdk competer_two:/home/
scp -r /home/jdk competer_three:/home/

(3)将配置文件复制到其余节点：
scp -r /etc/profile competer_two:/etc/
scp -r /etc/profile competer_three:/etc/
(4)在其余节点重复操作，然后验证是否配置成功

-r前后有空格,competer_two是名称

11.zookeeper的安装

apache-zookeeper-3.5.9
提取码：cqc8

将压缩包上传到机器的zookeeper文件中(没有建一个mkdir命令)解压步骤和jdk相同，再zookeeoer中建dataDir和dataLogdir，存放数据和日志，若不创建登录目录则事务日志和快照日志都会写到data目录下，将会严重影响zookeeper的性能

切换到dataDir(cd /root/zookeeper/dataDir) 再当前目录下输入vi myid 将里面的类容编辑为ech0 “1” >/home/zookeeper/dateDir/myid (即myid文件的绝对路径，这是我设置的绝对路径)

将zookkeeper复制到其他两台机子上就欧克了，复制命令：scp -rp 【绝对路径同上】最后切换到其他两台机子将ech 后面的== 1 ==该为 2，3 就行了。

配置环境变量见下链接（感谢作者） ：

zookeeper环境变量

至此我们已完成

后面三节下次跟新偶

♚ 悲欢自饮

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
搭建这个hadoop集群电脑表示要离家出走！

1.hadoop集群搭建的详细过程实验前的准备：== jdk ==jdk-8u11-linux-x64.tar.gz提取码：wgte== hadoop ==hadoop-2.10.1.tar.gz提取码：bfxz== VMware ==官网下载== centOS -XXX…-iso ==文件过大阿里云镜像下载== Xshell或其他软件 ==2.jdk的安装和环境变量的配置,hadoop的安装此处不再做过多解释，大厅有详解3hadoop的下载安装windows安装had
复制链接

扫一扫