0431-如何在Hue中添加Spark Notebook

最新推荐文章于 2024-08-12 08:53:42 发布

Hadoop_SC

最新推荐文章于 2024-08-12 08:53:42 发布

阅读量465

点赞数

分类专栏： Hadoop实操

本文链接：https://blog.csdn.net/Hadoop_SC/article/details/104376195

版权

本文档介绍了如何在CDH 5.14.2版本中集成Hue和Spark Notebook，利用Livy服务提交Spark作业。首先确保Hue和Livy已正常运行，然后在Hue的`hue_safety_valve.ini`配置文件中启用Notebook功能，重启Hue服务。接下来，登录Hue，创建PySpark会话并运行示例代码验证，可以看到在Livy和Yarn中成功创建了Spark Session。此外，Notebook还支持R、Scala、Impala等多种环境切换。

摘要由CSDN通过智能技术生成

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

CDH集群中可以使用Hue访问Hive、Impala、HBase、Solr等，在Hue3.8版本后也提供了Notebook组件（支持R、Scala及python语言），但在CDH中Hue默认是没有启用Spark的Notebook，使用Notebook运行Spark代码则依赖Livy服务。在前面Fayson也介绍了《Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》、《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》、《如何在Kerberos环境的CDH集群部署Livy》、《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》、《如何打包Livy和Zeppelin的Parcel包》和《如何在CM中使用Parcel包部署Livy及验证》，本篇文章Fayson主要介绍如何在Hue中添加Notebook组件并集成Spark。