Hadoop和Spark学习中遇到的坑

ssh免密登录失败

记一次ssh免密登录失败的解决方法

密钥文件authorized_keys的权限严格要求是600

~/xxx/.ssh目录的权限是700

用户主目录的权限改为755

这时再通过ssh localhost测试，免密就成功了。

之前免密失效的根本原因还是权限的问题，ssh不允许用户的主目录和.ssh目录以及authorized_keys文件的权限开放得太大。

参考文章：https://www.jianshu.com/p/2b987c8b0e83

---

spark伪分布式中master启动失败

查看了master log，用户名里显示这串错误数字，把conf/spark-env.sh配置文件
中host删掉就好了。猜测是指向了错误用户名

---

Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

原因：
NoClassDefFoundError表示在运行时找不到类
解决办法：
<scope>provided</scope>导致在编译时忽略了这个依赖，把这行注释掉即可。

---