如何在HUE上使用Spark Notebook

HUE版本:3.12.0

Ambari版本:2.6.1.0

HDP版本:2.6.4

Spark版本:2.2.0

前言

通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

本篇文章再给大家讲述一下如何配置并使用Spark Notebook

一、修改hue.ini

1. 配置Spark

打开hue.ini文件,找到【yarn_clusters】【default】,修改spark_history_server_url值。

spark_history_server_url=http://liuyzh2.xdata:18081

如下图所示:

其中

  • liuyzh2.xdataSpark2 History Server所在机器的主机名
  • 18081端口是Spark2spark.history.ui.port属性值

HUE是通过livy server来连接的SparkSpark依赖于Hive,配置如下图所示:

上述配置值都可以去SparkHive的配置文件中找到答案,这里就不赘述了。

2. 配置Notebook

打开hue.ini文件,找到【notebook】,如下图所示:

其中:

  • show_notebooks:显示或不显示笔记本菜单 默认值: true
  • enable_batch_execute:此标记用于通过 Oozie 以后台任务的形式批量提交查询。 默认值: false
  • enable_query_scheduling:启用当前 SQL 查询 Coordinator 创建的标记。 默认值: false
  • enable_query_builder:启用表帮助 SQL 查询生成器的标记。 默认值: true

Notebook支持很多种语言,比如:Hive、Impala、SparkSql、Scala、PySpark、R、Spark Submit Jar、Pig、Sqoop1、Shell等很多种语言。我们可以将某些语言给注释掉,不让其在页面上展示。比如,将Impala注释。如下图所示:

这样在页面上的Notebook就不支持Impala了。

备注: 保存修改的配置并重启HUE服务。

二、修改Spark配置

打开ambari页面,集群安装的是Spark2服务,所以进入Spark2配置;配置选项中选择高级livy2-conf,如下图所示:

livy.server.csrf_protection.enabled的值修改为false保存修改后的配置并重启Spark2服务。

**备注:**如果不修改为false的话,在使用NotebookSpark语言时,会报csrf的相关错误。

三、新建Spark Notebook

Spark分很多种语言,有pySparkScalaSpark SQL等。本章以pySpark为例,来介绍如何使用Spark Notebook

通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

点击页面的笔记本,点击+笔记本来新建笔记本,如下图所示:

我们可以在Notebook里面选择使用很多类型的编程语言,如下图所示:

在上图,这里我们可以点击红框,来选择更多的编程语言,这里我们选择pySpark来跑一个wordCount程序。

当新建了一个pySpark Notebook后,后台会以登陆HUE系统页面的用户身份(比如hue)新建一个livy-session-xxSpark应用程序,如下图所示:

同时在会话左侧也会出现一个圆圈,表示正在初始化一个livy session会话,如下图所示:

当圆圈消失,出现执行按钮时,我们就可以执行代码了。

四、执行wordCount任务

首先使用hue上面的HDFS功能直接在/tmp路径下新建wordCount.txt,文件内容如下:

My English teacher has a big house.
It has a living room, a big dining room, two bedrooms, a study, two bathrooms and a big kitchen.
In the living room, there is a big picture, four brown sofas, white fans and blue walls. The TV set is big. There is a big Chinese knot on the wall. There are lanterns below the lights. I like them.
This is my English teacher’s house.

我们使用pySpark读取wordCount.txt文件内容:

file = sc.textFile("/tmp/wordCount.txt")
word = file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
for row in word.collect():
  print row

执行的结果:

wordCount任务执行成功。

五、关闭Session会话

当使用完pySpark Notebook之后,不要忘记关闭livy session,如果session过多,就会导致yarn内存使用率过大。

Spark livy session空闲过期时间默认为1小时,可在spark2-conf.xml内修改livy.server.session.timeout值。今天我们主要说明一下如何主动关闭Session会话。

关闭的方式有很多种,可以点击Notebook页面的”右上角>上下文”来关闭会话,如下图所示:

稍等一会,在hue作业浏览器页面,就会发现该livy-session已成功结束。

也可以去hue作业浏览器页面手动killsession进程,如下图所示:

嗯,可以通过这两种方式主动关闭session会话,以避免Yarn内存长时间无效使用。

六、总结

使用Spark Notebook需要经过如下几个步骤:

  • 修改hue的配置文件,主要修改SparkNoytebook的相关配置项。
  • 修改Spark的配置文件,避免出现csrf错误。
  • 使用Spark Notebook
  • 用完之后,记得及时关闭Spark livy session

推荐阅读


码字不易,如果您觉得文章写得不错,请扫码关注公众号支持作者~ 您的关注是我写作的最大动力?

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

create17

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值