1. 条件
服务器已安装了Anconda,安装anconda后,在~/.bashrc 中配置环境变量,切记: $PATH:$PYTHON3
,path变量在前,否则python运行一直是python3
2. 查看python版本
(base) [root@localhost ~]# python -V
Python 2.7.5
(base) [root@localhost ~]# python3 -V
Python 3.6.0 :: Continuum Analytics, Inc.
(base) [root@localhost ~]#
一般centos7会自带python2.7,安装完anconda后python运行的是python3,需要修改软连接,将python重新指向python2.7
[root@slave2 ~]# whereis python
3. 修改python运行版本
进入/usr/bin/
目录
查看python映射
删除python ->python3
的链接
(base) [root@localhost bin]# rm python #删除python3的链接
(base) [root@localhost bin]# ln -s python2 python #重新将python指向python2
4.服务器端jupyter notebook配置
4.1配置文件
用jupyter notebook --generate-config
生成配置文件,文件在/root/.jupyter下
(base) [root@localhost bin]# jupyter notebook --generate-config
Writing default config to: /root/.jupyter/jupyter_notebook_config.py
(base) [root@localhost bin]#
4.2 密码
输入jupyter notebook password
,此处输入的密码用于本地浏览器登陆。密码生成在/root/.jupyter/jupyter_notebook_config.json中,打开复制密钥
(base) [root@localhost bin]# jupyter notebook password
Enter password:
Verify password:
[NotebookPasswordApp] Wrote hashed password to /root/.jupyter/jupyter_notebook_config.json
(base) [root@localhost bin]#
(base) [root@localhost bin]# cat /root/.jupyter/jupyter_notebook_config.json
{
"NotebookApp": {
"password": "sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e"
}
}(base) [root@localhost bin]#
复制密文 "sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e"
4.3 修改配置文件
vim /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip='*' #允许访问的IP地址,设置为*代表允许任何客户端访问
c.NotebookApp.password = u"sha1:035868764b08:1512dd56d2c778b006566a4c7fb19c5e9811092e" #刚才生成密码时复
制的密文'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888 #可自行指定一个端口, 访问时使用该端口
c.NotebookApp.allow_remote_access = True
c.NotebookApp.allow_root = True #允许root用户运行jupyter notebook
4.4启动服务端
(base) [root@localhost .jupyter]# jupyter notebook
如果8888端口被占用,会分配新的端口
本地浏览器访问,密码是之前输入的密码
5服务器端配置pyspark
创建一个pyspark的工作目录
(base) [root@localhost ~]# mkdir pyspark_workspace
(base) [root@localhost ~]# cd pyspark_workspace/
创建pyspark的启动脚本
vim /root/pysspark_workspace/start_pyspark.sh
#start_pyspark.sh
export PYSPARK_PYTHON=/root/anaconda3/bin/python3.7 #设定PYSPARK_DRIVER_PYTHON与PYSPARK_PYTHON的版本一致
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export SPARK_MAJOR_VERSION=2 #如果服务器安装的两个版本的spark,选择2,默认是1.6版本
#启动pyspark
pyspark
#启动jupyter
#jupyter notebook
运行脚本
本地浏览器访问,创建python查看spark版本
配置完成,其他问题一般都是python解析器的版本的原因