数据库
向阳争渡
这个作者很懒,什么都没留下…
展开
-
Spark与mongodb的结合
Mongodb Mongodb的安装 实验环境:ubuntu16.04 安装:suso apt-get install mongodb 查看版本:mongo -version 启动和关闭mongodb service mongodb start service mongodb stop shell命令使用mongodb: mongo Spark-MongoDB M原创 2018-01-05 16:28:58 · 768 阅读 · 0 评论 -
Mac 安装Mangodb
安装Mangodb较简单的一种方法:使用HomeBrew安装 更新homebrew的package数据库,在Mac终端中输入: brew update 但是楼主遇到了一个问题 解决方案: 在终端输入 xcode-select --install 回车后,系统弹出下载xcode,点击确认,下载完成后即可。(实际上不是下载xcode,可能是下载xcode有关插件,下载时约1分钟原创 2018-01-06 21:04:44 · 658 阅读 · 0 评论 -
Spark2.1.0 向MongoDB写入json数据
需求: 1、从外部文件读取json数据 2、根据需求拆分数据 3、利用DataFrame直接写入MongoDB Spark-Mongodb官网写入MongoDB实例 采用官网实例的方案实验,不成功,且json数据中部分字段为空,读取报错。 import com.mongodb.spark.MongoSpark; import org.apache.spark.api.java.Ja原创 2018-01-07 22:41:19 · 1166 阅读 · 0 评论