pyspark操作MongoDB

最新推荐文章于 2023-12-21 17:01:47 发布

Python爬虫与算法进阶

最新推荐文章于 2023-12-21 17:01:47 发布

阅读量352

点赞数 1

本文链接：https://blog.csdn.net/m0_37148637/article/details/103461351

版权

本文介绍了如何使用pyspark 2.3.2版本连接MongoDB，强调了不要安装最新版本的pyspark，并提供了连接字符串的正确格式。在处理大量数据时，可能会对电脑性能造成影响。代码可在原文中查看。

摘要由CSDN通过智能技术生成

有几点需要注意的：

不要安装最新的pyspark版本，请安装`pip3 install pyspark==2.3.2`
`spark-connector`与平常的MongoDB写法不同，格式是：`mongodb://127.0.0.1:database.collection`
如果计算数据量比较大，你的电脑可能会比较卡，^_^

Show me the code!

#!/usr/bin/env python  
# -*- coding: utf-8 -*-
"""
@author: zhangslob
@file: spark_count.py 
@time: 2019/01/03
@desc:
    不要安装最新的pyspark版本
    `pip3 install pyspark==2.3.2`
    更多pyspark操作MongoDB请看https://docs.mongodb.com/spark-connector/master/python-api/
"""

import os
from pyspark.sql import SparkSession

# set PYSPARK_PYTHON to python36
os.environ['PYSPARK_PYTHON'] = '/usr/bin/python36'

# load mongodb data
# 格式是&#x