Linux平台pysprak默认使用IPython编辑器

Linux平台pysprak默认使用IPython编辑器

之前写过一篇Spark在windows上默认使用IPython编辑器的文章。linux上通过pyspark使用ipython其实是一样改法的。

要想pysaprk默认使用ipython，我们需要先安装ipython。这里直接安装 Anaconda。

1. Anaconda安装

1.1 下载

进入下载页面，选择需要下载的安装包

这里选择的是linux平台

Anaconda3-5.1.0-Linux-x86_64.sh

1.2 上传到linux机器

scp Anaconda3-5.1.0-Linux-x86_64.sh hadoop@server01:/anaconda

1.3 安装anaconda

1.3.1 执行Anaconda3-5.1.0-Linux-x86_64.sh脚本

sh /anaconda/Anaconda3-5.1.0-Linux-x86_64.sh

1.3.2 允许协议许可

直接按下Enter

1.3.3 指定安装路径

安装路径为/anaconda

注意：如果出现下面信息，需要在1.3.1步骤上加上-u参数，重新安装

ERROR: File or directory already exists: '/anaconda'
If you want to update an existing installation, use the -u option.

在1.3.1步骤上加上-u参数，如下：

sh /anaconda/Anaconda3-5.1.0-Linux-x86_64.sh -u

1.3.4 是否添加到环境变量

选择yes

1.3.5 source环境变量

source /home/hadoop/.bashrc

1.3.6 测试ipython

在shell窗口执行ipython命令，如下图，表示安装成功

2. 修改pyspark文件

2.1 进入spark/bin目录，修改pyspark目录

在进行修改pyspark之前，先复制一份

cp pyspark pysaprk.bak

2.2 修改pyspark文件

...

if [[ -z "$PYSPARK_DRIVER_PYTHON" ]]; then
  PYSPARK_DRIVER_PYTHON="${PYSPARK_PYTHON:-"ipython"}"  # 将 python 改为 ipython
fi

...

如图：

2.3 执行pyspark测试ipython

这样就修改好了。

---

补充：Anaconda卸载

1. 进入Anaconda安装目录，删除安装的文件目录，如：

rm -rf /anaconda

1. 删除/home/hadoop/.bashrc对应的配置

vim /home/hadoop/.bashrc

删除对应信息

1. 如果需要再次安装anaconda，需要在执行1.3.1步骤时，加上-u参数。