Python基础(一)：Anaconda3安装以及Jupyter和pyspark集成

Anaconda3安装以及Jupyter和pyspark集成

1.anaconda31、安装包大小不bai同

(1)python自身缺少numpy、matplotlib、scipy、scikit-learn…等一系列包du，需要安装pip来导入zhi这些包才能进行相应运dao算Anaconda(开源的Python包管理器)是一个python发行版，包含了conda、Python等180多个科学包及其依赖项。包含了大量的包，使用anaconda无需再去额外安装所需包。
(2)内置不同
IPython 是一个 python 的交互式 shell，比默认的python shell 好用得多，支 持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和 函数。而Anaconda Prompt 是一个Anaconda的终端，可以便捷的操作conda 环境。

2.安装步骤:

(1)前置安装spark

(2)在/etc/profile配置spark环境

#spark environment
export SPARK_HOME=/opt/soft/spark234
export SPARK_CONF_DIR=$SPARK_HOME/conf
export PATH=$PATH:$SPARK_HOME/bin

(3)安装bzip2

 yum install -y bzip2(此步不执行安装anaconda会报错)

(4)直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件

 bash Anaconda3-5.1.0-Linux-x86_64.sh

根据提示回车或yes 只有最后安装vcode回答no

(5)生成jupyter配置文件
(我使用root用户路径是 /root/.jupyter/jupyter_notebook_config.py)
进入你的用户根目录 cd /root/anaconda3/bin

jupyter notebook --generate-config

(6)生成Jupyter登录密码

./ipython
 
 from notebook.auth import passwd
 
 passwd()

输入你的密码后 生成一个sha1:xxxxx 用记事本链贴好

(7)修改jupyter_notebook_config.py文件

c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.password=u'刚才生成的密码'
c.NotebookApp.port=7070 #此端口为不使用pyspark的端口

(8)配置环境变量/etc/profile 并激活

#anaconda3 environment
export ANACONDA_HOME=/root/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_DRIVER_PYTHON=jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS="--ip=0.0.0.0 --port=8888"

(9)执行命令
1.如果要环境加入pyspark 就直接执行命令

 pyspark

2.如果只需要普通python环境 就输入命令

jupyter notebook --allow-root

(10)再浏览器上根据命令提示的端口登录