spark版本2.1.1
mongo版本3.6.11
使用spark的api读取mongo有NoSuchMethod等此类错误。
val spark = SparkSession.builder() .master("local") .appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "mongodb://192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage") .getOrCreate() import com.mongodb.spark.config._ val customRdd = MongoSpark.load(spark) customRdd.show()
解决方案:
增加用户名和密码
val spark = SparkSession.builder() .master("local") .appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "mongodb://ifaas_data:introcks1234@192.168.13.23:31308/ifaas_data.tenancy0_collection_car_smallImage") .getOrCreate()