本文介绍了如何使用Spark连接MongoDB，包括环境配置、启动命令和读取/保存数据的操作。首先，需安装Spark并配置Python环境，推荐使用Pyspark。接着，展示了启动Spark的命令，以及如何通过参数连接MongoDB。在读取和保存数据部分，详细说明了如何指定数据库和集合，并提供了代码示例。最后，提到了在非命令行启动情况下连接MongoDB的方法。
如何导入数据
数据可能有各种格式，虽然常见的是HDFS，但是因为在Python爬虫中数据库用的比较多的是MongoDB，所以这里会重点说说如何用spark导入MongoDB中的数据。
当然，首先你需要在自己电脑上安装spark环境，简单说下，在这里下载spark，同时需要配置好JAVA，Scala环境。
这里建议使用Jupyter notebook，会比较方便，在环境变量中这样设置
PYSPARK_DRIVER_PYTHON=jupyter
PYSPARK_DRIVER_PYTHON_OPTS=notebook ./bin/pyspark
如果你的环境中有多个Python版本，同样可以制定你想要使用的解释器，我这里是python36，根据需求修改。
PYSPARK_PYTHON=/usr/bin/python36
最低0.47元/天 解锁文章
扫一扫
2983
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
