Linux7安装Hadoop3集群（三台虚拟机）

最近练习了一下Hadoop的配置安装，以免自己有给忘了，写个博客备个案
我的路径：/opt/software

注意路径位置。
1.vim /etc/hostname修改主机名，重启后修改成功
2.添加域名映射

3.停用防火墙

4.设置三台虚拟机相互免密登录（先找到登录密钥，将密钥分别复制到3台虚拟机），三台虚拟机都要弄一遍




5.测试免密登录成功没有

6.查看jdk安装情况，（如果没有安装，现将jdk的rpm包传到相应文件夹运用rpm -ivh解压安装，javac查看安装成功没有

7.查看jdk安装路径（如果jdk版本比我的高，请自行查看网址=https://www.cnblogs.com/luminccs-5308/p/10043338.html的安装路径查看方式）

8.在/etc/profile文件里设置JDK环境变量

9.执行：source /etc/profile，让配置生效

10.传入Hadoop到文件夹解压安装，执行：tar -zxvf hadoop-3.0.0-alpha4.tar.gz



11.进入Hadoop3.2.0/etc/hadoop查看文件

12.进入profile文件配置Hadoop环境变量，使其生效

创建HDFS存储目录

cd /opt/software/hadoop3.2.0(hadoop目录下）

mkdir hdfs

cd hdfs

mkdir name data tmp

/usr/hadoop/hdfs/name --存储namenode文件

/usr/hadoop/hdfs/data --存储数据

/usr/hadoop/hdfs/tmp --存储临时文件
13.进入Hadoop目录修改文件
（1）编写hadoop-env.sh


使其生效

（2）编辑core-site.xml



hadoop.tmp.dir
/opt/software/hadoop-3.2.0/tmp(文件夹不要写错）


fs.defaultFS
hdfs://hadoop1:9000（主机名）


（3）编辑hdfs-site.xml



dfs.replication
3


dfs.name.dir
/opt/software/hadoop-3.2.0/hdfs/name


dfs.data.dir
/opt/software/hadoop-3.2.0/hdfs/data


dfs.permissions
false


（4）编辑yarn-site.xml



yarn.resourcemanager.hostname
cmaster


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.vmem-check-enbled
false


（5）编辑mapred-site.xml



mapreduce.framework.name
yarn


（6）配置workers文件（相当于hadoop2.x里的slaves文件）

14.在start-dfs.sh和stop-dfs.sh的最前面添加四行代码


HDFS_DATANODE_USER=root
HDFS_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
15.在start-yarn.sh和stop-yarn.sh的最前面添加量行代码


YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
最后创建tmp文件夹

类似的，配置其它两台虚拟机的hadoop。将Hadoop目录远程拷贝过去就行了

16.启动三台虚拟机的hadoop
（1）格式化主节点名称空间
[root@cmaster ~]# hdfs namenode -format

出现successfully则格式化成功
（2）在主节点上启动start-all.sh



各节点jps出现就成功了