Hadoop平台搭建与应用

最新推荐文章于 2024-07-09 16:51:04 发布

XY_2017ChaseDream

最新推荐文章于 2024-07-09 16:51:04 发布

阅读量1.5k

点赞数 1

本文链接：https://blog.csdn.net/XY_2017ChaseDream/article/details/78806588

版权

1. 搭建环境准备工作

1. VMware虚拟机，下载地址：https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html
2. Centos7 系统，下载地址：http://mirrors.shu.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso
3. JDK8，下载地址：http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.rpm?AuthParam=1520575824_7d45767eda6b3a96b3f824521e1e3f3b
4. Hadoop2.6，下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

2. Linux集群搭建与配置

1. 本次使用三台虚拟主机进行 Linux 集群的搭建，各主机命名：Master，Slave1，Slave2。
2. 在 /opt 目录下创建 hadoop-conponents 目录，用于存放 Hadoop 各组件及数据文件。
3. 更改 root 用户密码，并将各主机创建管理员用户：hadoop（注意：这里各节点的用户名最好相同，否则后续解决起来有点麻烦）

1.1 设置 Linux 主机名

Centos7 安装后，系统会自动将主机名设置为 localhost，为了辨别各主机所在节点，我们一般将主机名修改为对应节点名称，如：Master，Slave1，Slave2。
设置主机名需要 root 权限：
    1. 使用 su 命令切换到 root 用户后进行操作： 
        首先，切换用户：su root
        接下来，修改 root 用户密码：passwd root，回车后输入新密码。
        然后，编辑文件：vi /etc/sysconfig/network，在文件中输入如下代码：
            NETWORKING=yes
            HOSTNAME=Master
        保存并退出，然后在命令行界面输入：hostname Master，确认修改生效。
        最后，修改静态主机名，编辑文件：vi /etc/hostname，在编辑器输入新主机名：Master，保存并退出。
        重启终端后，输入：hostname，即可查看修改结果。
    2. 管理员用户使用 sudo 命令获取 root 权限进行操作：
        若没有管理员用户可以新建：
            2.1 新建普通用户 hadoop：adduser hadoop
            2.2 修改用户密码：passwd hadoop
            2.3 为用户赋予 root 权限，编辑文件：vi /etc/sudoers，找到下面一行，并在 root 下添加一行，如下所示：
                ## Allow root to run any commands anywhere
                root  ALL=(ALL)    ALL
                hadoop  ALL=（ALL）    ALL
            修改完毕后保存退出，则该 hadoop 用户就为管理员用户了，可以使用 sudo 命令获取管理员权限。
            补充：在编辑 /etc/sudoers 文件后，无法保存：
                查看文件权限：ll /etc/sudoers 发现文件为只读文件（r 权限）
                为文件添加写权限：chmod +w /etc/sudoers
                再次编辑 /etc/sudoers 文件，然后保存退出。
        创建完成后，在 hadoop 用户下编辑文件：sudo vi /etc/sysconfig/network，操作同上。

1.2 网络设置

默认情况下，网络是关闭的，无法通过IP地址连接主机，需要手动开启。
查看IP地址信息，打开终端窗口：输入 ifconfig 命令，或输入 ip addr 命令，发现 ens33 没有 inet 这个属性，即网卡未启动。
启动网卡，编辑文件：sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33，找到代码 ONBOOT=no，并将这里的 no 改为 yes，保存退出。
重启网络服务：sudo service network restart
查看IP地址：命令行输入 ifconfig，ens33 网卡下的 inet 属性值即为IP地址。
查看各虚拟主机之间的连通性：ping IP地址，若有返回值，说明两台主机之间是连通的。
为了使用计算机名进行网络访问，需要配置主机名与IP地址的映射，编辑文件：sudo vi /etc/hosts,在文件内新增如下信息：
    IP地址值 主机名
    例：192.168.105.133 Master
       192.168.105.134 Slave1
       192.168.105.135 Slave2
保存退出（各主机都要配置）。
测试配置是否成功：ping Master，若有返回值，说明配置成功。

1.3 关闭防火墙

查看系统防火墙状态：systemctl status firewalld.service,发现系统的防火墙服务处于活动状态（active(running)）。
关闭系统防火墙：sudo systemctl stop firewalld.service
继续查看防火墙状态：systemctl status firewalld.service,发现防火墙已经关闭（inactive(dead)）。
关闭防火墙后，执行命令：systemctl disable firewalld.service，使下次启动计算机的时候取消防火墙服务。
</