cdh集成livy

最新推荐文章于 2024-06-12 15:24:38 发布
最新推荐文章于 2024-06-12 15:24:38 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： livy 遇到问题 文章标签： cdh livy cdh集成livy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alongpo/article/details/89214630
版权
本文档介绍了如何在CDH中集成Livy，包括使用git克隆源码，安装依赖，编译parcel和CSD。在编译过程中遇到依赖下载失败的问题，通过手动下载并放入本地Maven仓库解决。成功编译后，启动Livy时出现日志目录权限错误，通过手动创建livy用户以确保服务正常运行。参考链接提供了详细的编译和集成步骤。
摘要由CSDN通过智能技术生成
  1. yum install git
  2. git clone https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels.git
  3. yum install -y unzip zip
  4. 进入下载的parcels的文件：cd /data/bigdata/livy_zeppelin_cdh_csd_parcels
    sh build.sh parcel
    sh build.sh csd
  5. 我的机器的路径：/data/bigdata/livy_zeppelin_cdh_csd_parcels
    编译livy : sh build.sh parcel
    编译parcel的时候出现问题：
    出现错误：
    ERROR] Failed to execute goal on project cloudera-manager-schema: Could not resolve dependencies for project com.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0: Failure to find commons-cli:commons-cli:jar:1.3-cloudera-pre-r1439998 in http://maven.zmops.cc:8081/nexus/content/group
最低0.47元/天 解锁文章
Alongpo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hue兼容Livy通过Rest请求向Spark发送任务
手提青灯觅佳人的博客
03-17 163
Hue兼容Livy通过Rest请求向Spark发送任务 参考hue官方文档 https://gethue.com/how-to-use-the-livy-spark-rest-job-server-for-interactive-spark-2-2/ 环境准备 必须安装JDK 必须安装HADOOP 必须安装Spark 安装过程 下载 wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip 解压 unzip ./livy-serve
CDH使用CM安装整合livy和zepplin(已攻略)
莫莫绵的博客
08-18 1318
制作parcel和csd包 步骤一：我们需要编辑下build.sh 步骤二：把下载文件放进去 步骤三：在linux系统中再次执行build.sh脚本 步骤四：部署parcel和csd 步骤五：重启下cm-server 坑 步骤六：CM添加服务配置文件 启动报错信息 步骤七：访问zepplin 搞定
CDH详解（史上最全）
最新发布
weixin_45424111的博客
06-12 3386
CDH详解，从小白到精通
CDH6.2.x制作Livy的Parcel包和csd文件
weixin_38023225的博客
06-01 1195
1.配置Java,maven等环境变量 ]# java -version java version "1.8.0_211" Java(TM) SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode) ]# mvn -version Java HotSpot(TM) 64-Bit Server VM warning: ignoring optio
spark livy hue
bigdataf的博客
11-16 1129
1.下载 livy livy为Spark提供了REST接口，有如下特性: * 提供交互式shell * 批量提交 * 多用户使用用一个服务(用户模拟) * 可以从任何地方使用REST的方式提交 * 无需对代码进行任何修改wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip配置： cat livy-env
86.通过Livy的RESTful API接口向CDH集群提交作业
大勇若怯任卷舒
12-31 904
86.1 演示环境介绍 Livy版本为：0.4 CM和CDH版本为：5.13.1 集群未启用Kerberos 86.2 操作演示 将作业运行的jar包上传到HDFS目录 使用Maven创建Livy示例工程 pom文件中添加如下依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId>
livy-0.7.1-incubating-bin-cdh6.2.1.zip
11-20
在CDH环境中，Livy可以集成Kerberos进行安全认证，确保只有授权的用户和服务能够访问。同时，Livy的日志和审计记录可以帮助管理员监控作业执行情况，排查问题。通过设置告警和阈值，可以及时发现并处理性能瓶颈和...
livy 集成cdh中编译parcel包出现问题解决
Alongpo的博客
04-03 1017
问题： ERROR] Failed to execute goal on project cloudera-manager-schema: Could not resolve dependencies for project com.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0: Failure to find commons-cli...
CDH6.3中HUE的配置，集成mysql,hive,hbase,spark,sparksql,pyspark
zld_555的博客
11-22 3760
CDH集成环境里开启hue组件，只需要在《hue_safety_valve.ini 的 Hue 服务高级配置代码段（安全阀）》里写入配置文件即可正常工作， 然后按照需要的服务，安装服务。 最终看起来很是挺轻松的，但是详细的说明教程还真是多，再加上版本问题。参考各位大佬的教程，对照官方文档（给差评）整理记录。 集成hive服务 hive服务里开启hiveserver2服务 hue配置里声明服务地址...
cloudera manager 集成 livy zeppelin
wflh323的专栏
05-14 443
https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels下载编译parcels文件 1.将编译好的csd，parcels 包放到cm csd文件夹和 httpd服务目录下 2.添加用，组 groupadd -r zeppelin useradd -r -g zeppelin zeppelin groupadd -r livy ...
CDH安装及使用CM安装集成livy和zepplin
0.0
12-11 3218
首先转载几位大佬的几篇文章; CDH6.2.0搭建 https://blog.csdn.net/weixin_38201936/article/details/106006335 CDH6.2.0搭建（2）https://blog.csdn.net/weixin_38201936/article/details/106140498 CDH使用CM安装整合livy和zepplin(已攻略) https://blog.csdn.net/qq_36428889/article/details/1197789
CDH部署Livy服务
L, there!
08-05 3187
Livy的CDH环境parcel和csd制作 1. 添加Livy parcel到CM的parcel-repo ll -h mv LIVY-1.0-el7.parcel manifest.json /opt/cloudera/parcel-repo echo "b68875cb5e5dcf437deee5618843b5cd49413d11" > LIVY-1.0-el7.pa...
Cloudera Manager中安装部署Livy服务
storm_fury
04-10 4157
制作Livy的Parcel包和csd文件 将Parcel包和manifest.json文件部署到httpd服务中 [root@node01 ~]# mkdir -p /var/www/html/livy [root@node01 ~]# cd /var/www/html/livy [root@node01 livy]# cp /root/github/cloudera/cm-livy-sc...
89.在CDH集群中安装并编译Livy
大勇若怯任卷舒
01-07 896
89.1 演示环境介绍 CM和CDH版本：5.14.0 Livy版本：0.4 集群未启用Kerberos 89.2 操作演示 1.准备环境 IP： 186.31.7.186 186.31.30.69 HOSTNAME ip-186-31-7-186.fayson.com ip-186-31-30-69.ap-southeast-1.compute.internal 以上分别为：部署Livy服务节点和Livy编译节点 配置Java环境变量，使用CDH集群自带的JDK在/etc/profile
Hue 的编译安装及简单使用
BackToMe的博客
09-27 3337
HUE简介 Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语...
CDH（Cloudera）与hadoop（apache）对比
qiezikuaichuan的专栏
06-30 1400
转：http://www.aboutyun.com/thread-9225-1-1.html Cloudera的CDH和Apache的Hadoop的区别  目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apa
黑猴子的家：利用 livy 远程提交 spark作业
黑猴子的博客
09-14 1382
livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题 1、livy的下载 livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。 下载 地址 ：http://livy.io/quickstart.html 下载之后，解压即可运行 2、解压livy后，在livy-env.sh中添加...
cdh集成apache phoenix
wflh323的专栏
02-25 642
Apache-Phoenix 概述   ApachePhoenix是Apache HBase上一个高效的SQL引擎，通过标准的SQL语法来简化HBase的使用，并可以使用标准的JDBC连接HBase，而不是通过HBase的Java客户端APIs。它可以让你执行所有的CRUD和DDL操作，比如创建一张表，插入数据以及查询数据。SQL和JDBC可以大大减少用户代码的开发。 当Phoenix接收...
cdh 集成 elasticseach
05-12
它可以在CDH集群中运行，并且可以与CDH集成，以提供更全面的数据分析和搜索功能。 要将Elasticsearch集成到CDH中，首先需要下载并安装Elasticsearch。接下来，需要将Elasticsearch配置为与CDH的其他组件一起运行。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值