01_windows10配置spark与pyspark
02_jupyterLab_windows设置pyspark
03_jupyternotebook_windows设置pyspark
1.什么是Jupyter
Project Jupyter exists to develop open-source software, open-standards, and services for interactive computing across dozens of programming languages.[
Jupyter计划的存在是为了开发开放源码软件,开放标准并且为十几种编程语言提供互动式计算服务。
2.JupyterLab环境配置
无论是在Windows,WSL还是Linux中配置python+Jupyter Lab环境都是是比较简单的,配置完Python后在命令提示符中输入:
pip install jupyterlab
等待安装完成。安装完成后使用命令
jupyter lab
将会自动打开浏览器进入到jupyterlab。使用WSL的需要手动输入链接才能进入环境链接最后一段会显示token,复制输入进去才行。下次再从WSL中打开时可在地址栏中输入jupyterlab会自动提示,不需要再次输入token了。
3.中文界面配置
下面介绍如何将jupyterlab的语言改为中文在终端或命令行中输入
pip install jupyterlab-language-pack-zh-CN
安装完成之后还需要进入到jupyterlab工作环境中找到setting->language选择中文重新加载环境即可。
4.更改工作目录
由于jupyterlab默认的工作目录可能不符合一些人的要求我们可以手动更改工作目录。在Windows和Linux中操作相同。 首先要找到jupyterlab默认配置文件的位置,输入命令
给出配置文件位置后我们可以打开它,找到
# Default: 'C:\\Users\\Administrator\\.jupyter\\lab\\workspaces'
c.LabApp.workspaces_dir = 'D:\\jupyterlab'
D:\jupyterlab
5、配置在Jupyter Lab中运行PySpark
配置之前保证已经安装了jupyter lab,不确定的可以使用conda list查看一下
conda list
没有安装的话使用conda install jupyterlab
进行安装
在Windows下配置的话直接修改环境变量即可
PYSPARK_DRIVER_PYTHON
PYSPARK_DRIVER_PYTHON_OPTS
6、启动pyspark
运行cmd,输入 pyspark
出现以上界面的话恭喜你圆满配置成功
接下来新建一个文件输入sc运行一下,出现如下结果则代表以及能够正常使用pyspark的功能了
参考引用
https://blog.csdn.net/one_a_xiaobai/article/details/105508967