Hadoop搭建

-晚雪

已于 2023-04-19 22:07:08 修改

阅读量139

点赞数

分类专栏：搭建Hadoop 文章标签： hadoop linux 大数据

于 2023-04-19 21:57:39 首次发布

本文链接：https://blog.csdn.net/weixin_51524477/article/details/130253510

版权

搭建Hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、安装VMware

正常安装（参考VMware 安装CentOS6.4）

二、Linux基础环境配置

Ⅰ. ①建好以后 → 点开设备下的CD/DVD（IDE)

②点击使用ISO映像文件 → 选择先前安装好的CentOS-6

Ⅱ. 创建虚拟机（参考），安装好后→进入虚拟机

Ⅲ. 点开编辑连接 → 添加 → IPv4设置 → 方法改为手动 → 添加 → （先打开虚拟网络编辑器，然后查看VMnet8下的信息：子网地址、子网掩码、网关。） → ip地址设置和vmnet8下的子网地址前三字段一致即可、子网掩码默认24、网关和查到的一致、DNS服务器：114.114.114.114

三、远程连接

Ⅰ. 安装xshell和xftp（按文档进行安装即可）

Ⅱ. 在启动虚拟机的情况下，打开xshell → 新建会话 → 任意取名称、主机：为刚刚设置的ip地址(可在Linux下的连接信息里面查看到） → 点击用户身份验证→ 填写用户名和密码 → 连接测试，是否成功

Ⅲ. 新建一个文件

在xshell的页面内:

①输入su root

②mkdir 文件名a

③ll （可以看到建立了一个自己想要的文件名）

④cd ./文件名a/

⑤ll

Ⅳ. 打开Xshell页面右上角的新建文件传输 → 将先前安装的jdk拉入第6步创建的文件a中（若会出现问题：无法传输 → 解决方法：在xshell页面输入：chmod 777 ./文件名a/ ）

传输完成后，继续打开xshell页面：

①输入 ll

② cd ./文件名a/

③ ll

④tar -zxvf ./jdk的安装路径

⑤ 解压完后，输入ll →成功出现一个解压文件（如jdk1.8.0_171)（蓝色字体）⑥cd ./解压文件/ （蓝色字体）

⑦pwd （获得的是路径，复制）

⑧vim /etc/profile

⑨ 然后按下 i 键，进入编辑模式

⑩ 在system下插入下面两行路径：注意jdk的路径不要写错

export  JAVA_HOME=路径

【即pwd下面的路径（如：/home/wanxue1/package/jdk1.8.0_171）】

export PATH=.:$JAVA_HOME/bin:$PATH

保存：Esc 、 shfit+冒号（：）→ 输入wq→输入 source /etc/profile →java -version  【检查是否安装成功】

解压Hadoop：（与上面一致）在 master下解压Hadoop：先打开Hadoop所在的文件下（ll等查看）输入tar -zxvf hadoop-2.7.7.tar.gz

四、克隆虚拟机

Ⅰ.关闭虚拟机 → 克隆第一个虚拟机【CentOS1】（按照文档），重命名为slave1-CentOS1 → 克隆第二个虚拟机【CentOS1】,重命名为slave2-CentOS2 → 打开slave1的网络适配器 → 选择高级 → 点击生成 → 完成

对slave2同样操作

Ⅱ.启动slave1、slave2、CentOS1（密码一样）

①slave1→编辑连接（对先前自己编辑的连接修改），修改IP地址

对slave2同样操作

②三台虚拟机都打开终端，进入管理员模式

修改主机名：输入 vim /etc/sysconfig/network → 修改HOSTNAME→退出、保存

三台分别改为【master、node1、node2】

Ⅲ.① 在xshell中新建连接s1和s2（配置和前面方法一致）

② 连接即可

Ⅳ. 在shell连接的三个页面内:

①先输入su 、密码进入管理员模式

②输入vim /etc/sysconfig/network

分别修改hostname为【master node1 node2】

五、相关操作

Ⅰ. 将时间设为一致：

打开三台虚拟机→打开xshell远程连接三台虚拟机→在每个窗口下输入date,查看日期，相差在两分钟内即可

Ⅱ. 关闭防火墙：在xshell的三个页面下输入su 、密码，进入管理模式

然后输入service iptables stop

关闭防火墙的自动启动：在xshell的三个页面下输入chkconfig iptables off

Ⅲ.密钥配置和免密登录

在xshell页面的主机master下：

①输入vim /etc/hosts

在文件最后输入：三台虚拟机的IP地址及对应的主机名

如：192.168.230.8 master

192.168.230.12 node1

192.168.230.15 node2

②输入scp /etc/hosts node1:/etc/hosts

再输入scp /etc/hosts node2:/etc/hosts

（node1、node2为之前设置的主机名）

③输入cd ～

④输入pwd

⑤输入ssh-keygen 一直回车直至出现图案

⑥输入ssh-copy-id -i 图案上面public key in后面的 master（如：ssh-copy-id -i /root/.ssh/id_rsa.pub master)

⑦输入ssh-copy-id -i /root/.ssh/id_rsa.pub node1

再输入ssh-copy-id -i /root/.ssh/id_rsa.pub node2

⑧测试：ssh node1/ssh node2 发现无需密码能进入即可