1.安装之前选择合适的版本,避免使用被淘汰的版本
2.注意不同版本Spark和不同Hadoop以及JDK和SDK版本的兼容性
3.如果是作为学习,可以只搭建local模式,只有一个节点,Hadoop和Spark都可以只设置一个节点
4.下载Idea使用时需要下载Scala插件,并导入JDK和SDK,还需要导入对应的Spark Jar包
5.hadoop的data目录所在分区最好选用剩余磁盘较大的空间,避免hadoop在上传文件或者进行运算时,出现磁盘空间不足的情况。
1.安装之前选择合适的版本,避免使用被淘汰的版本
2.注意不同版本Spark和不同Hadoop以及JDK和SDK版本的兼容性
3.如果是作为学习,可以只搭建local模式,只有一个节点,Hadoop和Spark都可以只设置一个节点
4.下载Idea使用时需要下载Scala插件,并导入JDK和SDK,还需要导入对应的Spark Jar包
5.hadoop的data目录所在分区最好选用剩余磁盘较大的空间,避免hadoop在上传文件或者进行运算时,出现磁盘空间不足的情况。