![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
小兴安岭mx
取乎其下,则不知所得也。
展开
-
Content root xxx is defined for modules "spark-core_2.10" and spark-mllib_2.10".
编译Spark时出现问题:Content root "/home/zmx/nju/spark-monotasks-master/python" is defined for modules "spark-core_2.10" and "spark-mllib_2.10". Two modules in a project cannot share the same content root....原创 2019-03-20 13:48:21 · 5308 阅读 · 0 评论 -
Ubuntu 16.04搭建Spark源码研读和代码调试的开放环境
1. 准备必要的开发工具和环境:安装 jdk 1.8:参考链接:https://blog.csdn.net/smile_from_2015/article/details/80056297 scala 2.11.8 下载地址:https://www.scala-lang.org/download/2.11.8.html 我下载的文件名是scala-2.11.8.tgz## s...原创 2019-03-12 11:05:40 · 461 阅读 · 0 评论 -
使用虚拟机(MobaXterm)从零开始搭建Spark1.3集群
准备工作1. Hadoop:hadoop-2.4.1.tar.gz2. Spark:下载编译好的基于对应hadoop版本的版本:spark-1.3.0-bin-hadoop2.4.tgz3.JAVA:jdk-7u80-linux-x64.tar.gz4. scala:scala-2.11.8.tgz5搭建环境在MobaXterm界面连接服务器,使用命令sudo vir...原创 2019-03-19 19:16:44 · 1131 阅读 · 0 评论