HADOOP集群搭建， HDFS简易配置

概念：

HADOOP在多计算机集群环境中营造一个统一而稳定的存储和计算环境。

Hadoop Distributed File System (HDFS)

主节点：Master NameNode

从结点：Slave DataNode

配置

前提：安装好mysql和java环境

需要配置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

把bootproto改为static

在最下面加入如下内容

IPADDR=192.168.70.100 这里修改为你的ip
NETMASK=255.255.255.0
GATEWAY=192.168.70.2 这里修改为你的网关
DNS1=114.114.114.114
DNS2=8.8.8.8

ip和网关可以在如下地方查看

这样就ok了

HDFS配置

官网下载tar包，并上传tar包至服务器

解压tar包

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

进入配置文件路径,修改配置文件

cd /opt/module/hadoop-3.1.3/etc/hadoop

vim hadoop-env.sh

配置Java环境

JAVA_HOME=/opt/module/jdk1.8.0_212

2>

vim core-site.xml

在configuration添加内容

<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.70.100:9000</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property>

<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

注意： hdfs://192.168.70.100:9000 ip需修改为你自己的

3>

vim hdfs-site.xml

增加如下内容

<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>192.168.70.100:50070</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.70.100:50090</value>
</property>
<!--副本数的配置-->
    <property>
    <name>dfs.replication</name>
        <value>1</value>
</property>

配置hadoop环境变量

vim /etc/profile

source /etc/profile

初始化集群

hdfs namenode -format            

初始化完成

启动配置

配置ssh免密登录

cd /root
ssh-keygen

分发钥匙

ssh-copy-id 192.168.117.128

输入yes和密码

ssh-copy-id localhost

启动Hadoop

start-dfs.sh      //此时应当在hadoop的目录

注意：如果想root用户启动，需在配置文件添加如下内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

后续依然要source

source /etc/profile

可以看到启动成功

访问web端也是正常打开