Hue兼容Livy通过Rest请求向Spark发送任务

最新推荐文章于 2023-04-17 15:57:07 发布
最新推荐文章于 2023-04-17 15:57:07 发布
阅读量176 收藏
点赞数
分类专栏： 大数据通用 文章标签： hue集群 Spark Livy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46845300/article/details/114938888
版权
本文档详细介绍了如何在Hue中利用Livy的REST API来发送Spark任务。首先，确保环境具备JDK、HADOOP和Spark。接着，下载并配置Livy，启动服务。然后，在Hue的配置文件中进行相应设置以实现兼容。最后，展示了创建和运行Spark任务的步骤，包括引入依赖和查看运行结果。
摘要由CSDN通过智能技术生成

Hue兼容Livy通过Rest请求向Spark发送任务

参考hue官方文档

https://gethue.com/how-to-use-the-livy-spark-rest-job-server-for-interactive-spark-2-2/

环境准备

必须安装JDK

必须安装HADOOP

必须安装Spark

安装过程

下载
wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip
解压
unzip ./livy-server-0.3.0.zip
修改conf/livy.conf
#默认local模式
#增加如下配置
livy.server.session.factory = yarn
修改conf/livy-env.sh
最低0.47元/天 解锁文章
手提青灯觅佳人
关注
专栏目录
cdh集成livy
Alongpo的博客
04-11 1900
yum install git git clone https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels.git yum install -y unzip zip 进入下载的parcels的文件：cd /data/bigdata/livy_zeppelin_cdh_csd_parcels sh build.sh parcel sh ...
1.Hue 中运行oozie工作流执行spark 报错 local class incompatible
终回首的博客
01-15 613
一、问题 在hue中运行oozie工作流执行spark任务时，报错java.io.InvalidClassException: ; local class incompatible: stream classdesc serialVersionUID = -4485890319152472656, local class serialVersionUID = -7506356125639619411 日志： 2021-01-15 15:20:09.104 [task-result-getter-0] WAR
spark livy hue
bigdataf的博客
11-16 1136
1.下载 livy livy为Spark提供了REST接口，有如下特性: * 提供交互式shell * 批量提交 * 多用户使用用一个服务(用户模拟) * 可以从任何地方使用REST的方式提交 * 无需对代码进行任何修改wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip配置： cat livy-env
Hue编译安装适配sparksql（hue+livy+sparksql+pyspark）
这个人很懒。
04-17 2158
Hue是一个开源的SQL助手，用于数据仓库。它可以与Livy集成，以便更轻松地开发SQL片段。本篇文章带大家安装hue+livy，配置sparksql，pyspark
如何使用Hue创建Spark2的Oozie工作流
worldchinalee的博客
06-06 5233
1.Oozie共享库添加Spark21.查看当前Oozie的share-lib共享库HDFS目录oozie admin -oozie http://lefincluster-rt1:11000/oozie -sharelibupdate[ShareLib update status] sharelibDirOld = hdfs://nameservice1/user/oozie/s...
spark livy
terrorblade1235的博客
08-04 2279
spark livy标签（空格分隔）： bigdata spark livylivy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题。livy的安装 livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。 下载livy，解压后，在livy-env中添加 export SPARK_HOME=/
0431-如何在Hue中添加Spark Notebook
Hadoop_SC的博客
02-18 457
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 CDH集群中可以使用Hue访问Hive、Impala、HBase、Solr等，在Hue3.8版本后也提供了Notebook组件（支持R、Scal...
jupyter spark hue
最新发布
01-18
Livy是一个开源的Spark作业服务器，它提供了一个REST接口，可以用于提交和管理Spark作业。 Hue是一个开源的Web界面，用于管理和监控Hadoop生态系统中的各种组件，包括Spark。Hue提供了一个用户友好的界面，可以用于...
HUE介绍
阿尼古
06-20 1891
Hue是一个开源的Apache Hadoop UI系统。 • 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交 互来分析处理数据。 – 例如操作HDFS上的数据、运行Hive脚本、管理Oozie任务等等。 • 是基于Python Web框架Django实现的。 • 支持任何版本Hadoop – 基于文件浏览器(File Browser)访问HDFS – 基于web编辑器...
livy使用样例_hue 集成spark+livy
weixin_34395361的博客
12-24 465
hue 集成spark+livy一.先决条件安装hue、hadoop。二.spark on yarn 安装1.添加环境变量 vim /etc/profileSCALA_HOME=/opt/scalaSPARK_HOME=/opt/spark2.配置spark; vim conf/spark-env.sh#服务器域名SPARK_LOCAL_IP=node7#master 地址SPARK_MASTER...
hue提交spark jar任务的使用文档
01-05
hue中对spark任务的支持，是靠oozie支撑的。文档中提供了如何在hue中提交spark作业的操作步骤。
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
Spark2.0.1 on yarn with hue 集群安装部署（八）hue+livy+spark整合
dockj的博客
11-28 4451
hue整合livy整合spark spark submit jar spark submit python R scala python
hue 集成spark+livy
weixin_34146986的博客
05-21 682
hue 集成spark+livy 一.先决条件 安装hue、hadoop。 二.spark on yarn 安装 1.添加环境变量 vim /etc/profile SCALA_HOME=/opt/scala SPARK_HOME=/opt/spark 2.配置spark; vim conf/spark-env.sh #服务器域名 SPARK_LOCAL_IP=no...
黑猴子的家：Hue 与 Spark 集成 +livy
黑猴子的博客
09-14 674
1、先决条件 安装hue、hadoop 2、spark on yarn 安装 (1)环境变量 ##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME...
全套大数据平台个人开发环境手动搭建(CDH版本) 伪分布式
BurukeYou
11-13 3486
1、简介 基于Hadoop CDH5.7.6版本搭建 涉及hadoop、spark、hive、Hbase、oozie 环境是Centos7, 登陆用户是root,主机名是localhost 所有CDH软件包下载路径 http://archive.cloudera.com/cdh5/cdh/5/ ps: 在具体url路径后自行添加.tar.gz就会以下载链接方式打开 2、准备 2.1 关闭防火墙 查看防火墙状态： systemctl status firewalld 关闭防火墙： systemctl
Spark2.0.1 on yarn with hue 集群安装部署（七）livy安装测试
dockj的博客
11-25 8491
R安装，pip安装，livy安装，livy整合spark，livy整合spark测试
CDH中HUE开启Livy Spark提交工具
蔚文达的博客
09-10 2095
下载编译Livy git clone https://github.com/cloudera/livy.git cd livy mvn package 配置启动Livy livy-env.sh export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658/lib/spark...
HUE配置Spark Notebook
ASIN的专栏
10-27 7667
在HUE3.10版中已经具有spark notebook的功能，但需要自己配置。安装步骤主要参照run-hue-spark-notebook-on-cloudera进行。注意点在第四步，#download Livy wget http://archive.cloudera.com/beta/livy/livy-server-0.2.0.zip unzip livy-server-0.2.0.zip
hue 提交spark任务
11-07
在Hue中提交Spark任务，可以通过以下步骤实现： 1. 在Hue的首页上点击"Spark"菜单。 2. 在Spark页面中，点击"New Job"按钮。 3. 在"Job Configuration"页面中，填写任务的相关信息，包括任务名称、主类、Jar文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值