PySpark读取MongoDB数据

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB常用28条查询语句(转)_Lucky小黄人的博客-CSDN博客

直接上demo：

#!/usr/bin/python3
# coding=utf-8

from pyspark.sql import SparkSession

if __name__ == '__main__':

    spark = SparkSession \
            .builder \
            .appName("MongoSparkConnectorIntro") \ 
            .config("spark.mongodb.input.uri","mongodb://username:password@host1:port,host2:port/dbName.collectionName?authSource=admin") \
            .config("spark.jars.packages", "org.mongodb.spark:mongo-spark-connector_2.11:2.4.4") \
            .enableHiveSupport() \
            .getOrCreate()

    # 读取mongodb中的数据
    df = spark.read \
            .format("com.mongodb.spark.sql.DefaultSource") \
            .load()

    # 打印数据
    df.show()
    spark.stop()

这里几个坑要注意一下：

1. 在配置spark参数的时候一定要加上：

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.4.4

这里最后的2.11是Scala版本，一般不用动，2.4.4是Spark版本，这里需要根据使用的Spark版本修改。

1. 报错【Exception authenticating MongoCredential....】

这种情况也是权限问题导致的，此时需要我们修改uri，在后面新增一个authSource=admin参数，具体的见上面demo的12行的最后。

参考：MongoDB踩坑记录之Exception authenticating MongoCredential