hadoop环境搭建总结

这段时间公司尝试使用了中科院开源的easyML来做项目，期间遇到的一系列坑爹问题，在这里做下记录。
由于docker环境不适合该项目，所以大佬决定在外面弄个新的，方便操作的环境，于是就有了下面一系列问题。
1.网络：第一个绝对是网络。我们用的是虚拟机，老是出现网络不通的现象。ping通网络的正确姿势如下：
修改该虚拟机的mac地址，在“虚拟机”-“设置”-“网络适配器”-“高级”，在mac地址那里，点击“生成”。结束后，把虚拟机关掉，再重新启动（注意：不是点重启虚拟机）。再到对应的网卡文件里修改ip，让集群的ip固定下来。
2.端口问题：多重启，多修改，重复以上步骤，都是这么过来的。
3.oozie的编译问题，编译命令严格按照参考安装连接的命令，命令中的版本什么的都不要改，不然绝对编译不了。
4.python版本升级的问题,因为不升级就只能调用python的基础库。centos版本里自带2.7的版本，需要把它升级到3.6。在安装完anaconda后（装的过程全部选yes，不管是最后遇到要安装微软的某个程序），删除原有的python软连接，rm -rf /usr/bin/python然后ln -s 你的路径 /usr/bin/python
5.把安装hadoop集群的过程，最好把配过一次的各个组件保存一下，把安装过程写成一个脚本。并且以hostname作为各个配置文件的主机识别，不然以后会被坑死。