Hadoop-3.1.4环境搭建

1、用户及目录约定

用户名：user_hadoop100，已经配置了sudo权限，用户目录：/home/user_hadoop100

主机名：hadoop100

ip:192.168.10.131

用户目录下分别建立如下目录：

software：存放软件安装文件（*.tar.gz）

app：存放解压后的软件

data：存放数据

2、上传文件

利用filezilla将jdk，hadoop，eclipse的安装文件（*.tar.gz）从windows上传到Centos下。

3、解压文件

xshell下分别解压上述三个文件到app目录下

4、配置环境变量

设置JAVA_HOME、HADOOP_HOME，设置完成要source一下

java -version hadoop version 检验环境变量是否生效

5、hadoop配置

• hadoop-env.sh

hadoop运行环境

用来定义hadoop运行环境相关的配置信息

添加JAVA环境

• core-site.xml

集群全局参数

用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。它的默认是/tmp/hadoo-hadoop，在系统重启时容易被清理掉，因此必须配置，我们指定到了/home/user_hadoop100/app/tmp。

fs.defaultFS用于指定hdfs的访问地址，9000是端口号。

访问地址我们使用的主机名，而不是ip，需要在/etc/hosts下做映射，需要用sudo权限。

• hdfs-site.xml

HDFS	如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等

格式化namenode

成功会出现tmp文件夹

启动集群

6、访问hdfs

通过 ip:9870或主机名：9870 即可访问hdfs

windows访问需要关闭linux防火墙

防火墙的相关命令

systemctl stop firewalld.service

systemctl disable firewalld.service

systemctl status firewalld.service