Hadoop 集群搭建

最新推荐文章于 2024-08-04 13:23:56 发布

XiaodunLP

最新推荐文章于 2024-08-04 13:23:56 发布

阅读量279

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/XiaodunLP/article/details/86748124

版权

本文详细介绍了如何从基础环境准备到Hadoop集群的搭建，包括修改主机名、配置系统默认启动级别、设置sudoer权限、配置IP、关闭防火墙和Selinux、添加内网域名映射、安装JDK、同步服务器时间以及配置免密登录等步骤。接着讲解了Hadoop分布式集群的安装，最后介绍了集群启动、HDFS和MapReduce的初步使用。

摘要由CSDN通过智能技术生成

1、基础集群环境准备

1.1、修改主机名

1.2、设置系统默认启动级别

1.3、配置 hadoop 用户 sudoer 权限

做完以上步骤后，可以开始克隆虚拟机。因为以上系统的配置，都是一些基础性的操作。都是必须的。

1、基础集群环境准备

1.1、修改主机名

1、在 root 账号下用命令：vi /etc/sysconfig/network 或者如果配置了 hadoop sudo 权限，则在 hadoop 登录情况下使用命令： sudo vi /etc/sysconfig/network

2、修改好后，保存退出即可

1.2、设置系统默认启动级别

1、在 root 账号下输入 vi /etc/inittab

1.3、配置 hadoop 用户 sudoer 权限

1、在 root 账号下，命令终端输入：vi /etc/sudoers

2、找到 root ALL=(ALL) ALL 这一行，然后在他下面添加一行： hadoop ALL=(ALL) ALL 保存，退出

1.4、配置 IP

Linux 服务器的 IP 修改方式有三种，在此不细讲,可以参照前面Linux的网络ip配置

1.5、关闭防火墙/关闭 Selinux

防火墙操作相关：

查看防火墙状态：service iptables status
关闭防火墙：service iptables stop
开启防火墙：service iptables start
重启防火墙：service iptables restart
关闭防火墙开机启动：chkconfig iptables off
开启防火墙开机启动：chkconfig iptables on

关闭 Selinux：具体做法是修改/etc/selinux/config 配置文件中的 SELINUX=disabled

1.6、添加内网域名映射

1.7、安装 JDK

1、 上传 jdk-8u73-linux-x64.tar.gz
2、 解压到/usr/local 目录下
    tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local
3、 配置环境变量
    a) vi /etc/profile
    b) 在最后加入两行：
         export JAVA_HOME=/usr/local/jdk1.8.0_73
         export PATH=$PATH:$JAVA_HOME/bin
    c) 保存退出
4、 source /etc/profile
5、 检测是否安装成功，输入命：java -version