sparkmongo
文章平均质量分 67
九指码农
生活不止眼前的苟且。
展开
-
spark/hadoop整合mongodb
MongoDB是一个文档型数据库,它可以方便的应用于大多数语言,其次是实现是C++,根据相关人员的测试证明mongodb的查询性能要好于现在市面上好多nosql数据库,相关的测试连接如下: http://www.kuqin.com/shuoit/20140928/342398.html 下面简单介绍mongodb: 一、Mongodb特性 1、模式自由,支持动态查询、完全索引,原创 2016-05-06 15:32:10 · 4702 阅读 · 2 评论 -
spark读取mongodb
Spark-mongodb: Spark操作mongodb的api提供了RDD和dataSet、DataFrame读取方式。关键看你的spark的使用版本,第三方依赖包的下载见mongodb官网 def load[D: ClassTag](sc: SparkContext, readConfig: ReadConfig)(implicit e: D DefaultsTo Document): M原创 2017-03-16 16:12:48 · 9406 阅读 · 0 评论 -
mongodb 分片集群 删除片键 code : 20 sharding already enabled for collection
mongodb分片集群指定片键删除了一个collection,再次为这个collection创建片键的时候,会报错{ "ok" : 0, "errmsg" : "sharding already enabled for collection test.test", "code" : 20}解决办法就是在config库里面删除这个collection相关的信息,主要涉及原创 2017-08-30 21:14:57 · 3509 阅读 · 0 评论 -
spark mongodb 踩坑 Caused by: java.io.InvalidClassException: com.mongodb.spark.rdd.MongoRDD
本人在工作中用到了部分spark-mongodb的整合,今天在测试环境测试的时候,提交任务到yarn出现问题,具体描述如:根据错误提示,搜索了很久,说class 序列号问题经过仔细排查后,发现,分析:client端类版本与server端不一致;线上环境的jar的版本和本次打jar包的环境的版本不一致导致的compile group: 'org.mongodb.spark', name: '...原创 2019-07-19 13:55:23 · 730 阅读 · 0 评论