关于部署大数据开发环境的几个笔记

1.SSH免密码登录

问题：配置了秘钥但是并不起作用

解决：把主文件目录的权限更改755 原来是777

原因：怀疑是设置主文件目录为777以后，系统将其当做root用户，查找公钥时按照root目录去找的

2.windows下使用intellij的maven搭建scala2.11.8+spark2.0.0+hadoop2.7.2

按照本篇教程搭建

问题1：打成jar包的时候，报错

Scala Eclipse Plugin showstopper - error while loading Predef, Scala signature Predef has wrong version expected: 5.0 found: 4.1

原因：选在scala典型模板的时候，intellij自带的simple模板是不正确的，需要自己添加

groupId:net.alchim31.maven

artifactId:scala-archetype-simple

version:1.6

packaging:maven-archetype

问题2：按如上操作后打包时候报另外的错

scalac error: bad option: '-make:transitive' on mvn package via command line

解决：在pom.XML中注释掉make：transitive。然后添加

<dependency>
<groupId>org.specs2</groupId>
<artifactId>specs2-junit_2.11</artifactId>
<version>2.4.16</version>
</dependency>

3.spark提交任务