- 博客(4)
- 资源 (12)
- 收藏
- 关注
原创 spark读取mongodb数据配置
原文出处:http://blog.csdn.net/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客: Spark+IntelliJ IDEA创建项目引入如下依赖: 实现代码import org.apache.hadoop.conf.Configurationimport org.apache.log4j.{Level, Logger}impor
2017-03-27 09:41:08 5771
原创 Spark+IntelliJ IDEA创建项目
创建scala项目1.选择scala:2.scalaSdk版本选择,我选择的是如下图:3.新建Module,选择scala,Simple module with attached Scala SDK。4.创建src.main.scala目录,标记scala包为sources5.创建scala文件6.导入scala依赖,点Scala SDK7.导入spark依赖,点Java8.导入成功后编辑Test.
2017-03-24 09:48:48 2337
原创 mac系统spark环境搭建
所需工具1.jdk2.scala 下载地址:scala官网下载scala版本下载需注意,后期idea编译可能导致报错,scala版本和spark版本存在一些兼容性问题spark开发语言支持scala、java和python,推荐scala,因为spark源码就是scala,后期可以为研究源码打基础3.spark下载地址:spark官网下载配置环境变量vi ~/.bash_profile追加ex
2017-03-24 09:45:12 1162
原创 MongoDB: No server chosen by ReadPreferenceServerSelector
关于此问题做项纪录:解决问题方法来自:MongoDB: No server chosen by ReadPreferenceServerSelector首先出问题的代码块FindIterable<Document> bcs = bankcards.find();bcs.forEach(document -> { String id = document.getString
2017-03-16 18:08:10 6603
msmtp+mutt发送TLS邮件
2017-05-18
Android资源图片压缩工具
2016-02-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人