Spark集群环境搭建中所遇到的问题

1. 安装好JDK后，查看java版本出现以下提示：

    

     解决方法：在终端输入以下两条命令：

      (1)  sudo update-alternatives --install /usr/bin/javac javac /home/fhb/spark/java/jdk1.8.0_171/bin/javac 300      

      (2)  sudo update-alternatives --install /usr/bin/java java /home/fhb/spark/java/jdk1.8.0_171/bin/java 300

      

 

2. SSH免密码登录问题：The authenticity of host 192.168.0.xxx can't be established.　

    解决方法：修改/etc/ssh/ssh_config文件，添加如下两行内容：

     

 

3. 问题：sign_and_send_pubkey: signing failed: agent refused operation

   这表示ssh-agent 已经在运行了，但是找不到附加的任何keys，就是说生成的key，没有附加到ssh-agent上，需要附加一下

   解决方法：执行命令：ssh-add 

 

4. 使用jps查看hadoop集群进程时，出现以下提示：

     

    它实际上不是一个Hadoop问题，Hadoop不使用JPS。这个问题是因为系统已经安装了来自Oracle的JDK（可能是）。

    解决方法：通过使用更新替代程序来修复这个问题，将JPS链接到标准路径目录。如下图所示：

     

 

5. 使用spark-shell运行程序示例时，出现内存不足问题

     

    解决方法：增加虚拟机内存（从1G—>3G:OK），即可。