Jupyter Notebook是一个开源的web应用程序,可以使用它来创建和共享包含实时代码、方程、可视化和文本的文档。
Jupyter Notebook是IPython项目的一个派生项目,IPython项目本身曾经有一个IPython Notebook项目。后来从中拆分出去,叫做Jupyter Notebook。
"Jupyter"名字来源于它所支持的核心编程语言:Julia、Python和R。Jupyter随IPython内核一起提供,该内核允许用户使用Python编写程序。目前,还有100多个其他内核也可以使用。
一.环境安装(python3)
1.使用anaconda3安装(略)
2.安装jupyter
pip3 install --upgrade pip
pip3 install jupyter
3.创建单独目录为jupyter的用户空间
4.启动jupyter(启动用户和安装用户一致)
nohup /data/anaconda3/envs/python3.6/bin/jupyter notebook --ip=0.0.0.0 --port 7811 --allow-root &
5.设置jupyter使用的python环境设置路径如下:
/data/anaconda3/envs/python3.6/share/jupyter/kernels/python3/kernel.json
6.引用的python环境:/root/.pyenv/versions/anaconda3-5.0.1/bin/python
7.python环境引用类库:/root/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages
8.配置环境变量
export PYSPARK_PYTHON=/root/.pyenv/versions/anaconda3-5.0.1
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=0.0.0.0 --allow-root"
9.连接pyspark和pyhive执行代码查看配置
在pyspark创建config配置文件如下
2.创建jar考察mysql驱动进来
10设置密码
生成配置文件:/data/anaconda3/envs/python3.6/bin/jupyter notebook --generate-config
设置密码:/data/anaconda3/envs/python3.6/bin/jupyter notebook password xxx密码
11.代码演示
================pyhive部分=======================
from pyhive import hive
conn = hive.Connection(host='x.x.x.x', port=10000, username='xxxxx', password='xxxxx', database='ods', auth="CUSTOM")
cursor = conn.cursor()
cursor.execute('select * from 库名.表名limit 10')
for result in cursor.fetchall():
print(result)