centos7系统hadoop完全分布式安装

CentOS 7 中配置 Hadoop 3.1.2 完全分布式 | Binguner's Blog学习 Hadoop 的完全分布式搭建。https://binguner.com/2019/03/23/CentOS-7-%E4%B8%AD%E9%85%8D%E7%BD%AE-Hadoop-3-1-2-%E5%AE%8C%E5%85%A8%E5%88%86%E5%B8%83%E5%BC%8F/

参考的主题文章是上面这篇，主要步骤是按照上述来做。其中有很多的细节是需要自己去查询和完善的。

主要步骤：

1、配置hosts和hostname，其中hostname需要自行进行查询

2、配置hadoop账号和ssh，文中没有提到hadoop账号的新建，以及为hadoop账号授予权限，但这块其实是很关键的，是一个重要前提。另外ssh需要调试成免密码登陆的模式，这样master的虚机才能把两个slave启动起来

3、jdk的配置就比较基础了，下载、解压、配置profile、source profile生效就好了，准备好java环境

4、关闭防火墙

5、hadoop这块也是下载、解压、配置文件就好，其中“4）mapred-site.xml”配置文件里面文中

 <name>mapreduce.framework.name</name少了一个“>”，要修改过来，否则会报错

另外我记得，远程复制配置文件的时候总是复制不过去，我也没怎么查，直接改手动复制了

6、启动hadoop，我用的版本是比较新的（20220227），启动没有问题

7、通过示例进行验证，除了文中的wordcount，也可以查看一下的接口

http://172.20.10.12:8088/cluster