windows电脑上通过docker配置pyspark和mongodb环境

准备工作

1、在windows电脑上安装好docker
2、在vscode上安装好docker插件、Dev containers插件

3、下载一个在github上公开的容器：link

构建容器

在下载好的文件夹下打开终端，运行docker-compose up -d

直接运行会出现一个报错，我们发现错误来自于spark/Dockerfile文件，原因是拉取spark安装包的网址已不再维护，我们改成如下网址：

我暂时没有找到国内镜像这个版本的spark可用的网址，这里必须在使用梯子的情况下才能下载。这里读者可以自己找一找可用的网址。

容器的使用

构建好之后，我们运行docker-compose run spark bash，即可使用连接上mongodb的spark（下图中的第一个实例）。此时，docker界面如图所示。

vscode中的我们也可以看到两个打开的实例。右键点击Attach in New Window即可在新的窗口打开，非常方便的进入容器内部，查看文件、上传下载文件等。

后续步骤参考readme文件即可。