Spark在连接mongodb时，指定多个collection

最新推荐文章于 2021-12-08 16:28:52 发布

变味的麦芽糖

最新推荐文章于 2021-12-08 16:28:52 发布

阅读量1.7k

点赞数

分类专栏：技术之路

本文链接：https://blog.csdn.net/u013476435/article/details/94624217

版权

技术之路专栏收录该内容

24 篇文章 0 订阅

订阅专栏

在我们使用spark导入mongodb数据时，如果只连接一个collection会这样配置，其中igomoMemberInfo_Spark_input是我要连接的collection

        SparkSession.Builder builder =SparkSession.builder().master("local[*]").appName("SparkCalculateRecommend").
                config("spark.mongodb.input.uri", "mongodb://xm:xm123@192.168.31.203:27018/sns.igomoMemberInfo_Spark_input")
                .config("spark.mongodb.output.uri", "mongodb://xm:xm123@192.168.31.203:27018/sns.igomoMemberInfo_Spark_output")
                .config("spark.executor.memory", "512mb")

                .config("es.nodes", "192.168.53.92")
                .config("es.port", "9200")
                .config("es.nodes.wan.only", "true");

        SparkSession spark = builder.getOrCreate();

        JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
        //使用Spark连接器载入sparkContext，获取RDD对象
        JavaMongoRDD<Document> allRdd = MongoSpark.load(jsc);

以上地址均为本人测试环境地址，因为没有商用价值这里不做保护处理了。

如果想连接多个collection，需要贴下如下代码，其中challengeInfo是我要连接的collection

        Map<String, String> readOverrides = new HashMap<String, String>();
        readOverrides.put("collection", "challengeInfo");
        readOverrides.put("readPreference.name", "secondaryPreferred");
        ReadConfig readConfig = ReadConfig.create(jsc).withOptions(readOverrides);
        JavaMongoRDD<Document> secAllRdd = MongoSpark.load(jsc,readConfig);

如果想连接更多，只需要把上面这段代码复制多份，就可以导入到spark中进行计算了。