安装jupyter并集成pyspark

Jupyter Notebook是一个开源的web应用程序，可以使用它来创建和共享包含实时代码、方程、可视化和文本的文档。

Jupyter Notebook是IPython项目的一个派生项目，IPython项目本身曾经有一个IPython Notebook项目。后来从中拆分出去，叫做Jupyter Notebook。

"Jupyter"名字来源于它所支持的核心编程语言:Julia、Python和R。Jupyter随IPython内核一起提供，该内核允许用户使用Python编写程序。目前，还有100多个其他内核也可以使用。

一.环境安装（python3）

1.使用anaconda3安装（略）

2.安装jupyter

pip3 install --upgrade pip

pip3 install jupyter

3.创建单独目录为jupyter的用户空间

4.启动jupyter（启动用户和安装用户一致）

nohup /data/anaconda3/envs/python3.6/bin/jupyter notebook --ip=0.0.0.0 --port 7811 --allow-root &

5.设置jupyter使用的python环境设置路径如下：

 /data/anaconda3/envs/python3.6/share/jupyter/kernels/python3/kernel.json

 

6.引用的python环境：/root/.pyenv/versions/anaconda3-5.0.1/bin/python

7.python环境引用类库：/root/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages

8.配置环境变量

export PYSPARK_PYTHON=/root/.pyenv/versions/anaconda3-5.0.1

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=0.0.0.0 --allow-root"

9.连接pyspark和pyhive执行代码查看配置

在pyspark创建config配置文件如下

2.创建jar考察mysql驱动进来

10设置密码

生成配置文件：/data/anaconda3/envs/python3.6/bin/jupyter notebook --generate-config

 

设置密码：/data/anaconda3/envs/python3.6/bin/jupyter notebook password xxx密码

11.代码演示

================pyhive部分=======================

from pyhive import hive

conn = hive.Connection(host='x.x.x.x', port=10000, username='xxxxx', password='xxxxx', database='ods', auth="CUSTOM")

cursor = conn.cursor()

cursor.execute('select * from 库名.表名limit 10')

for result in cursor.fetchall():

print(result)