cdh集成livy

最新推荐文章于 2021-12-11 11:51:48 发布
VIP文章 最新推荐文章于 2021-12-11 11:51:48 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： livy 遇到问题 文章标签： cdh livy cdh集成livy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alongpo/article/details/89214630
版权
  1. yum install git
  2. git clone https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels.git
  3. yum install -y unzip zip
  4. 进入下载的parcels的文件：cd /data/bigdata/livy_zeppelin_cdh_csd_parcels
    sh build.sh parcel
    sh build.sh csd
  5. 我的机器的路径：/data/bigdata/livy_zeppelin_cdh_csd_parcels
    编译livy : sh build.sh parcel
    编译parcel的时候出现问题：
    出现错误：
    ERROR] Failed to execute goal on project cloudera-manager-schema: Could not resolve dependencies for project com.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0: Failure to find commons-cli:commons-cli:jar:1.3-cloudera-pre-r1439998 in http://maven.zmops.cc:8081/nexus/content/group
最低0.47元/天 解锁文章
Alongpo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
livy 集成cdh中编译parcel包出现问题解决
Alongpo的博客
04-03 991
问题： ERROR] Failed to execute goal on project cloudera-manager-schema: Could not resolve dependencies for project com.cloudera.cmf.schema:cloudera-manager-schema:jar:5.12.0: Failure to find commons-cli...
centos7下制作livy0.7.0的parcel包和csd文件
weixin_40004348的博客
06-29 508
制作livy的parcel包和csd文件 Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。Cloudera Manager 添加livy服务需要制作parcel包及csd文件。最新版本为0.7.0，github上3年没更新了 我的环境为CDH6.3.2,CM6.3.1平台。 官网：http://livy.incubator.apache.org/， 配置java，maven等环境 （略） 下载cm_ext工具。 可
CDH安装及使用CM安装集成livy和zepplin
0.0
12-11 3176
首先转载几位大佬的几篇文章; CDH6.2.0搭建 https://blog.csdn.net/weixin_38201936/article/details/106006335 CDH6.2.0搭建（2）https://blog.csdn.net/weixin_38201936/article/details/106140498 CDH使用CM安装整合livy和zepplin(已攻略) https://blog.csdn.net/qq_36428889/article/details/1197789
CDH使用CM安装整合livy和zepplin(已攻略)
莫莫绵的博客
08-18 1059
制作parcel和csd包 步骤一：我们需要编辑下build.sh 步骤二：把下载文件放进去 步骤三：在linux系统中再次执行build.sh脚本 步骤四：部署parcel和csd 步骤五：重启下cm-server 坑 步骤六：CM添加服务配置文件 启动报错信息 步骤七：访问zepplin 搞定
CDH部署Livy服务
L, there!
08-05 3158
Livy的CDH环境parcel和csd制作 1. 添加Livy parcel到CM的parcel-repo ll -h mv LIVY-1.0-el7.parcel manifest.json /opt/cloudera/parcel-repo echo "b68875cb5e5dcf437deee5618843b5cd49413d11" > LIVY-1.0-el7.pa...
cdh6.3.2 集成 Phoenix
02-08
cdh6.3.2 适配 Phoenix； cdh6.3.2 集成 Phoenix
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...
CDH集成Flink.doc
最新发布
03-01
CDH集成Flink
CDH6.3.2集成tez
03-01
CDH6.3.2集成tez
CDH6.3.2集成flink1.14.5 parcel
07-26
实测可用，自己编译的
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
制作Livy的Parcel包和csd文件
storm_fury
04-09 3272
配置java，maven等环境变量 java: export JAVA_HOME=/usr/local/java export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH maven: export MVN_HOME=/usr/local...
cdh5.7.1 ＋kerberos ＋ livy server v0.2.0 安装测试步骤
我想静静
12-20 3763
Livy 是一个开源的 REST接口，负责和Apache Spark进行交互。 支持执行片段代码和程序在一个Spark context 里面，可以运行在locally 或者 Apache Hadoop Yarn 模式。 交付式 Scala、Python和R shell 批量提交 Scala、java、Python 多用户可以共享一个server（模拟支持） 可以在任何地方使用REST
CDH6.2.x制作Livy的Parcel包和csd文件
weixin_38023225的博客
06-01 1145
1.配置Java,maven等环境变量 ]# java -version java version "1.8.0_211" Java(TM) SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode) ]# mvn -version Java HotSpot(TM) 64-Bit Server VM warning: ignoring optio
Livy的CDH环境parcel和csd制作
L, there!
08-05 2714
制作parcel和csd需要用到Clouderacm_ext，所以先用Git下载cm_ext，然后用Maven安装。 这里主要是制作Livy Spark server，用于Spark on Hue，暂时没有用到R所以就先不安装了。 因为使用平台是CDH6.0.1，所以需要修改脚本。 1. 安装支持语言和环境变量 Java、Scala、Python、Maven，并配置好环境变量。 2. ...
idea的输出日志位置*
热门推荐
Alongpo的博客
01-05 1万+
发现用idea的 help - show log in explore 没有用，只能到这个目录中去找日志 C:\Users\Administrator.IdeaIC2018.2\system\log
判断input的radio单选框哪个被选中
Alongpo的博客
02-28 6536
普通表<input id="isNormal" name="isMiddle" type="radio" value="1" checked="checked"> 关联表<input id="notNormal" name="isMiddle" type="radio" value="0">用jquery的判断写法var is_Middle; $('input:radio').each(functi
jdk版本问题（Unsupported major.minor version 52.0）
Alongpo的博客
01-12 6125
在开发的时候遇到jdk版本不兼容的时候很闹心，本来东西在自己的电脑，自己的tomcat上都很正常，但是把接口的导成war包发布给实施的时候，就出现了问题，之后实施的这群人真是啥也不懂，所问非所答的一直就强调程序出错，之后找了好久才知道是jdk版本的问题。 当遇到这类的错误的时候就是本机编译环境的jdk和服务器上的jdk版本不一致导致的，通常都是本机编译的jdk版本过高，造成服务器不能正常的识别
cdh 集成 elasticseach
05-12
CDH是指Cloudera平台，它允许用户简单地将Apache Hadoop和相关项目（如Apache Spark，Apache Flume和Apache Hive等）部署到企业级数据中心中。 Elasticsearch是一个开源搜索引擎，用于在大量数据中进行搜索，分析和存储。它可以在CDH集群中运行，并且可以与CDH集成，以提供更全面的数据分析和搜索功能。 要将Elasticsearch集成到CDH中，首先需要下载并安装Elasticsearch。接下来，需要将Elasticsearch配置为与CDH的其他组件一起运行。这可能涉及更改Elasticsearch的配置文件，以使其与CDH的不同组件相集成。 一旦集成了Elasticsearch，用户就可以开始使用其搜索和分析功能。对于大型数据集，Elasticsearch可以通过CDH的快速扩展性和自动化特性来管理和处理。 总之，将Elasticsearch集成到CDH中，可以获得更全面的数据分析和搜索功能，并提高大型数据集的管理和处理能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值