通过jupyter远程连接CDH（pyspark）

最新推荐文章于 2024-07-20 13:23:35 发布

hadoove

最新推荐文章于 2024-07-20 13:23:35 发布

阅读量1.6k

点赞数 1

分类专栏：程序安装大数据 python 大数据文章标签： pyspark jupyter

本文链接：https://blog.csdn.net/u013817676/article/details/84974246

版权

本文介绍了如何在CDH集群上安装Anaconda Parcel，并配置Jupyter Notebook以实现远程连接进行pyspark开发。首先，离线安装Anaconda Parcel，然后在主节点和从节点进行相关配置，生成notebook配置文件并设置访问密码。接着，安装pyspark及其依赖包，最后通过Jupyter Notebook进行远程访问和使用。

摘要由CSDN通过智能技术生成

1. 在CDH上安装Anaconda Parcel（离线或者远程安装anaconda parcel）

下载Anaconda Parcels，下载符合自己的版本及其sha文件

将下载好的文件上传至你的CDH parcels库，一般位置在 /opt/cloudera/parcel-repo

进入CDH管理界面,进行相关配置

！配置界面

刷新之后就能够看到Anaconda已下载成功。然后分发、激活。

2. 相关配置

2.1主节点配置

在/etc/profile.d/增加一个自己的文件, 如startpyspark.sh

# 为pyspark设置环境变量
export PYSPARK_DRIVER_PYTHON=/opt/cloudera/parcels/Anaconda/bin/jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser =False --NotebookApp.ip='*' --NotebookApp.port=8880"
export PYSPARK_PYTHON=/opt/cloudera/parcels/Anaconda/bin/python
export PATH=/opt/cloudera/parcels/Anaconda/