2. jupyter运行pyspark

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42490528/article/details/86031854

使用anaconda的jupyter notebook来运行pyspark

1. 安装anaconda(linux)

2. 配置

3. 本地模式运行pyspark

4. yarn运行pyspark

5. 遇到的问题

 

centos7默认python环境是2.7,我想要3.5的,

使用anaconda配置python环境,anaconda还自带很多科学计算包,方便

 

1. 安装anaconda

官网下载linux版本anaconda,或者去清华镜像下载,Anaconda3-5.3.1-Linux-x86_64.sh

安装:

bash Anaconda3-5.3.1-Linux-x86_64.sh -b

其中bash是安装命令。-b是指batch,即批次安装,会自动省略阅读license条款。

默认安装到根目录 /root/anaconda3

 

2. 配置

(1)anaconda环境变量

/etc/profile

#set anaconda env

export ANACONDA_PATH=/root/anaconda3/bin:$PATH

export PATH=/root/anaconda3/bin:$PATH

(2)pyspark设置

还在/etc/profile

#set pyspark env

export PYSPARK_DRIVER_PYTHON=$ANACONDA_PATH/bin/ipython

export PYSPARK_PYTHON=$ANACONDA_PATH/bin/python

 

验证,查看python版本:

[root@hadoop01 ~]# source /etc/profile

[root@hadoop01 ~]# python -V

Python 3.7.0

 

因为spark是集群运行的,所以每个机器都要安装anaconda并配置:

以hadoop02为例:

[root@hadoop01 software]# scp Anaconda3-5.3.1-Linux-x86_64.sh hadoop02:/export/software

[root@hadoop02 ~]# bash Anaconda3-5.3.1-Linux-x86_64.sh -b

[root@hadoop01 etc]# scp profile hadoop02:/etc/

 

3. 本地模式运行pyspark

新建文件夹用来放程序代码:/ipynotebook

使用命令:

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

 

sc.master 可以看到此时是本地模式

关闭notebook,在控制台用ctrl+c

 

 

4. yarn运行spark

先启动hadoop:start-all.sh

进入工作目录,启动时指定master为yarn,可分为client和cluster模式:

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=yarn-client pyspark

yarn web页面:

 

 

 

5. 遇到的问题

Running as root is not recommended. Use --allow-root to bypass.

root用户的问题,配置一下即可

解决方法:

首先输入:jupyter notebook --generate-config

修改产生的这个文件:gedit /root/.jupyter/jupyter_notebook_config.py

找到这一行

#c.NotebookApp.allow_root = False

去掉#,并修改成True。

保存,重新运行程序即可。

同样修改其他几台机器。

 

展开阅读全文

没有更多推荐了,返回首页