python及Anaconda3安装以及Jupyter和pyspark集成

一.准备安装包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sS3GfI3u-1597061759308)(E:%5Ctypora%5Cclip_image002.jpg)]

centos7中安装python3参考博客：https://www.cnblogs.com/xiujin/p/11477419.html

1.安装相应的编译工具

在root用户下(不要用普通用户,麻烦),全部复制粘贴过去,一次性安装即可.

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

yum install -y libffi-devel zlib1g-dev

yum install zlib* -y

2.下载安装包

wget wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz

3.解压

tar -xvJf  Python-3.7.2.tar.xz

4.创建编译安装目录

mkdir /usr/local/python3

5.安装

cd Python-3.7.2

./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl 

\#第一个指定安装的路径,不指定的话,安装过程中可能软件所需要的文件复制到其他不同目录,删除软件很不方便,复制软件也不方便.

\#第二个可以提高python10%-20%代码运行速度.

\#第三个是为了安装pip需要用到ssl,后面报错会有提到.

make && make install

6.创建软链接

ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3

ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

7.验证是否成功

python3 -V

pip3 -V

二 .Anaconda3安装以及Jupyter和pyspark集成

\1. anaconda31、安装包大小不bai同

(1) python自身缺少numpy、matplotlib、scipy、scikit-learn…等一系列包du，需要安装pip来导入zhi这些包才能进行相应运dao算Anaconda(开源的Python包管理器)是一个python发行版，包含了conda、Python等180多个科学包及其依赖项。包含了大量的包，使用anaconda无需再去额外安装所需包。

(2) 内置不同

IPython 是一个 python 的交互式 shell，比默认的python shell 好用得多，支 持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和 函数。而Anaconda Prompt 是一个Anaconda的终端，可以便捷的操作conda 环境。

https://www.cnblogs.com/xiujin/p/11477419.html

2. 安装步骤:

(1) 前面安装spark

(2) 在/etc/profile配置spark环境

#spark environment

export SPARK_HOME===/opt/soft/spark234==

export SPARK_CONF_DIR=$SPARK_HOME/conf

export PATH=$PATH:$SPARK_HOME/bin

保存推出后：source /etc/profile

(3) 安装bzip2

yum install -y bzip2(此步不执行安装anaconda会报错)

(4) 直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件

bash Anaconda3-5.1.0-Linux-x86_64.sh

一直回车（按住）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VbrEFWop-1597061759311)(E:%5Ctypora%5Cimage-20200810200647138.png)]

根据提示回车或yes 只有最后安装vcode回答no，等待下载

(1) 配置环境变量/etc/profile 并激活

#anaconda3 environment

export ANACONDA_HOME=/root/anaconda3

export PATH=$PATH:$ANACONDA_HOME/bin

export PYSPARK_DRIVER_PYTHON=jupyter-notebook

export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=8888"

保存推出后：source /etc/profile

生成jupyter配置文件（这一步错了 可不配置）

(我使用root用户路径是 /root/.jupyter/jupyter_notebook_config.py)

 进入你的用户根目录 cd ~

[root@lijia5 ~]# jupyter notebook --generate-config

-bash: jupyter: command not found

[root@lijia5 ~]# pip3 install jupyter --user

(2) 生成Jupyter登录密码

ipython
from notebook.auth import passwd
passwd()

输入你的密码后 生成一个sha1:xxxxx 用记事本链贴好

(3) 修改jupyter_notebook_config.py文件

不好找位置的话：可搜索

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BxVGYb7U-1597061759312)(E:%5Ctypora%5Cimage-20200810200712956.png)]

c.NotebookApp.allow_root=True

c.NotebookApp.ip=’*’

c.NotebookApp.open_browser=False

c.NotebookApp.password=u==‘刚才密码生成的’==

c.NotebookApp.port=7070 #此端口为不使用pyspark的端口，可更改

(4) 执行命令

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DL2hutzT-1597061759315)(E:%5Ctypora%5Cimage-20200810200800608.png)]

\1. 如果要环境加入pyspark 就直接执行命令 python

\2. 如果只需要普通python环境 就输入命令 jupyter notebook --allow-root（推荐）

登录网站：http://hadoop101:7070/

(5) 再浏览器上根据命令提示的端口登录

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NKaLPv8m-1597061759316)(E:%5Ctypora%5Cimage-20200810201453601.png)]
登录网站：http://hadoop101:7070/

(5) 再浏览器上根据命令提示的端口登录

[外链图片转存中…(img-NKaLPv8m-1597061759316)]