安装jupyter并集成pyspark

Jupyter Notebook是一个开源的web应用程序,可以使用它来创建和共享包含实时代码、方程、可视化和文本的文档。

Jupyter Notebook是IPython项目的一个派生项目,IPython项目本身曾经有一个IPython Notebook项目。后来从中拆分出去,叫做Jupyter Notebook。

"Jupyter"名字来源于它所支持的核心编程语言:Julia、Python和R。Jupyter随IPython内核一起提供,该内核允许用户使用Python编写程序。目前,还有100多个其他内核也可以使用。

一.环境安装(python3)

1.使用anaconda3安装(略)

2.安装jupyter

pip3 install --upgrade pip

pip3 install jupyter

3.创建单独目录为jupyter的用户空间

4.启动jupyter(启动用户和安装用户一致)

nohup /data/anaconda3/envs/python3.6/bin/jupyter notebook --ip=0.0.0.0 --port 7811 --allow-root &

5.设置jupyter使用的python环境设置路径如下:

 /data/anaconda3/envs/python3.6/share/jupyter/kernels/python3/kernel.json

 

6.引用的python环境:/root/.pyenv/versions/anaconda3-5.0.1/bin/python

7.python环境引用类库:/root/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages

8.配置环境变量

export PYSPARK_PYTHON=/root/.pyenv/versions/anaconda3-5.0.1

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=0.0.0.0 --allow-root"

9.连接pyspark和pyhive执行代码查看配置

在pyspark创建config配置文件如下

2.创建jar考察mysql驱动进来

10设置密码

生成配置文件:/data/anaconda3/envs/python3.6/bin/jupyter notebook --generate-config

 

设置密码:/data/anaconda3/envs/python3.6/bin/jupyter notebook password xxx密码

11.代码演示

================pyhive部分=======================

from pyhive import hive

conn = hive.Connection(host='x.x.x.x', port=10000, username='xxxxx', password='xxxxx', database='ods', auth="CUSTOM")

cursor = conn.cursor()

cursor.execute('select * from 库名.表名limit 10')

for result in cursor.fetchall():

print(result)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远方有海,小样不乖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值