Spark学习之路
Maximilian_M
这个作者很懒,什么都没留下…
展开
-
Spark+IntelliJ IDEA创建项目
创建scala项目1.选择scala:2.scalaSdk版本选择,我选择的是如下图:3.新建Module,选择scala,Simple module with attached Scala SDK。4.创建src.main.scala目录,标记scala包为sources5.创建scala文件6.导入scala依赖,点Scala SDK7.导入spark依赖,点Java8.导入成功后编辑Test.原创 2017-03-24 09:48:48 · 2377 阅读 · 0 评论 -
spark读取mongodb数据配置
原文出处:http://blog.csdn.net/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客: Spark+IntelliJ IDEA创建项目引入如下依赖: 实现代码import org.apache.hadoop.conf.Configuration import org.apache.log4j.{Level, Logger} impor原创 2017-03-27 09:41:08 · 5827 阅读 · 0 评论 -
mac系统spark环境搭建
所需工具1.jdk2.scala 下载地址:scala官网下载scala版本下载需注意,后期idea编译可能导致报错,scala版本和spark版本存在一些兼容性问题 spark开发语言支持scala、java和python,推荐scala,因为spark源码就是scala,后期可以为研究源码打基础 3.spark下载地址:spark官网下载配置环境变量vi ~/.bash_profile追加ex原创 2017-03-24 09:45:12 · 1182 阅读 · 0 评论 -
Spark处理远程mongodb数据记录
原文连接: http://blog.csdn.net/oMrApollo/article/details/69566846 错误原因分析报错如下:Exception in thread "main" java.io.IOException: com.mongodb.hadoop.splitter.SplitFailedException: Unable to calculate input sp原创 2017-04-07 15:38:04 · 2118 阅读 · 2 评论