问题反馈
在使用中有任何问题,可以反馈给我,以下联系方式跟我交流
Author: Leo Wechat: Leo-sunhailin
E-mail: 379978424@qq.com
--- 目录
项目环境 下载方式
小问题 解决办法和过程
代码示例 问题反馈
---
项目环境
- 环境部署: 请参考右边 -> 部署步骤
- 环境详情:
- Spark版本: Apache Spark 2.2.0 with Hadoop2.7
- MongoDB版本: 3.4.9-with openSSL
- JDK版本: 1.8
- Python版本: 3.4.4
下载方式
- 1、官方MongoDB-Spark Connector
```Shell第一种方式
spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
第二种
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
* 2、第三方的Connector
* 有点坑爹的项目[项目链接](https://github.com/mongodb/mongo-spark?jmp=hero)
* 项目发起者的官网打不开找不到对应的版本
* 0.12.x(具体x有哪些不知道...)
* 命令如下:
```Shell
spark-shell --packages com.stratio.datasource:spark-mongodb_2.11:0.13.0复制代码
小问题:
- 问题:公司的网络有毒,翻不出去外网(应该和公司设置的DNS有关系)
解决办法和过程:
- 解决办法:Teamviewer回家用Spark-shell下了MongoDB官方的解决方案的Jar包.(执行的是命令1)
- 偷懒可以下载下面的jar包,手动跳转第四步
- Jar包下载链接 密码:qkkp
- 1、Maven编译后(下载的时候就会编译的不需要手动),生成了两个jar包
- 路径默认在: C:/User/<用户名>/.ivy2/
- 2、下载没出错之后在.ivy2文件下会存在两个文件夹caches,jars.
- 3、下载完之后打开jars文件夹会有两个jar包:
- org.mongodb.spark_mongo-spark-connector_2.11-2.2.0.jar
- org.mongodb_mongo-java-driver-3.4.2.jar
- 4、把两个复制到Spark根目录下的jars文件夹中.
代码示例:
# -*- coding: UTF-8 -*-
"""
Created on 2017年10月24日
@author: Leo
"""
import os
from pyspark.sql import SparkSession
os.environ['SPARK_HOME'] = "你的Spark根目录"
os.environ['HADOOP_HOME'] = "你的Hadoop根目录"
class PySparkMongoDB:
def __init__(self):
# 这个是uri的配置
# mongodb://<MongoDB地址:端口>/<数据库名>.<集合名>
# 不指定端口就是默认27017
self.uri_conf = "mongodb://127.0.0.1/<数据库名>.<集合名>"
# Connect MongoDB(通过SparkSession维护连接)
self.my_spark = SparkSession \
.builder \
.appName("myApp") \
.config("spark.mongodb.input.uri", self.uri_conf) \
.config("spark.mongodb.output.uri", self.uri_conf) \
.getOrCreate()
def read_mgo(self):
df = self.my_spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
print(df.show())
if __name__ == '__main__':
mgo = PySparkMongoDB()
mgo.read_mgo()复制代码