安装hadoop+spark的坑

提示
slave2: mkdir: cannot create directory ‘/usr/local/hadoop-2.7.7/logs’: Permission denied
slave2: chown: cannot access ‘/usr/local/hadoop-2.7.7/logs’: No such file or directory

在slaveX执行–对当前用户释放权限
sudo chown -R 你自己电脑的用户名 /usr/local/hadoop

下次注意事项
master slave1 slave2都使用相同的用户名和密码，都直接使用root用户，就会少好多bug

编辑文件spark-env.sh，具体如下,只需要关注最后未被注释的内容即可，设置的值根据自己的机器来配置，export SPARK_DIST_CLASSPATH=$(/data/tools/hadoop-2.8.5/bin/hadoop classpath)一定要写，不然容易出异常，/data/tools/hadoop-2.8.5/bin/hadoop根据自己的hadoop路径来配置，不要照抄！；

一定要关闭防火墙

针对centos7

systemctl status firewalld.service	# 查看状态
systemctl stop firewalld.service	# 关闭
systemctl disable firewalld.service # 设置关机不自启

systemctl start/stop/enable/disable firewalld.service

选择这个可以兼容用户自己安装好的hadoop

大致步骤

创建好master slave1 slave2各个节点的Linux系统
最好是使用root 或统一的用户名密码
了解hadoop、spark、java的版本对应关系
一、准备工作

• 固定ip

• 规划集群，修改hostname

• 关闭防火墙

二、SSH免密登陆

• 注意登陆的默认用户名

三、时间同步
四、安装JDK
五、安装Hadoop