CloudManager之HUE下的workflow踩坑路

最新推荐文章于 2021-02-23 15:29:34 发布
最新推荐文章于 2021-02-23 15:29:34 发布
阅读量869 收藏 1
点赞数 1
分类专栏： 踩坑 大数据 jl 文章标签： sqoop cloudmanager hue hive workflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34072902/article/details/90373682
版权
大数据 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
jl
1 篇文章 0 订阅
订阅专栏
踩坑
0 篇文章 0 订阅
订阅专栏

由于工作需要个人就部署了一套基于cloudmanager的CDH，其中的坑似乎永远也填不完。。。。
话不多说，进入正题
这是我在使用CM的hue所遇到的坑，然后根据网上的启发自己所摸索出的一套解决方案，希望对大家有所帮助
遇到的第一个问题如下图：
报这个错的原因是因为sqoop找不到访问hive所依赖的derby相关包，需要在hdfs上自定义目录并把包上传至目录，然后在sqoop节点调用该包即可
报这个错的原因是因为sqoop找不到访问hive所依赖的derby相关包，需要在hdfs上自定义目录并把包上传至目录，然后在sqoop节点调用该包即可
解决了上个问题之后又遇到了如下图问题：
在这里插入图片描述
这个错是由于sqoop无法正确访问hive所致，把hive的hive-site.xml配置包上传至hdfs并添加包依赖即可
解决方案如下图：

在这里插入图片描述
在这里插入图片描述

天崩地裂鬼见愁
关注
专栏目录
Hue中使用Oozie的workflow执行MR过程
徐先森的博客
10-11 5559
Hue中使用Oozie的workflow执行wordcount的MR过程 写在前面：研究所里搭建了一套CDH5.9版本的hadoop集群，以前一直使用命令行去操作，这几天尝试Hue中使用Oozie的Workflows去执行MR程序，发现踩了好多坑（以前没使用过，也没找到相应的教程，如果有知道的好的教程不妨留下不甚感激）。
使用cloudera manager搭建HUE后的使用，包括Oozie
乔治大哥的博客
11-24 672
【小补充】 [root@cm1 ~]# cat /etc/passwd 这些用户并不是我们创建的，是有管理平台创建的，当需要某一项服务时，使用某一用户。 这里的账户密码随意：【看你心情，不过你要记住】 账号：hdfs 密码：hdfs 抱着你的好奇心，看看HUE给我们带来的HDFS的文件浏览器 是不是比这hdfs的50...
无法打开workflow的设计界面--缺'System.Workflow.ComponentModel.Compiler.ITypeProvider'
IT Tech
10-19 916
The service 'System.Workflow.ComponentModel.Compiler.ITypeProvider' must be installed for this operation to succeed   To fix this issue you have to edit your project file: Project > Prope
hue oozie再踩坑，workflow,coordinator终于都可以跑了
weixin_34150224的博客
09-27 1988
2019独角兽企业重金招聘Python工程师标准>>> ...
Cloudera Manager 中Oozie 配置HIVE workflow
河南骏的博客
08-24 5298
参考博客地址:http://shiyanjun.cn/archives/664.html 前提是你的hive和你的oozie都已经配置好了。hive配置很简单，oozie配置中的问题可以看我的上一篇博客。 分为几步， 1 hive-site.xml 及对应版本的hive的jar包，都要上传到hdfs。你肯定在hdfs上已经建立了对应的目录。       针对我装的cm5.7，相
Hue 常见问题解决方案
05-02
Hue 常见问题解决方案，包涵大部分常见Hue的问题整理，供参考
Hue-workflow配置流程
06-30
Hue的Workflow（工作流）组件则是用于构建和管理复杂的Hadoop作业流程，允许用户通过拖拽操作来设计数据处理任务，而无需编写复杂的命令行脚本或Java代码。在本文中，我们将深入探讨如何使用Hue配置和运行一个...
hue-alfred-workflow:用于控制Philips Hue灯的Alfred工作流程
04-30
使用Alfred快速轻松地控制Philips Hue灯。 :warning: 贡献错误修复和功能 :warning: 上次更新时间2020-12-16 几年前，我搬到了国外，（天哪！）我没有带上我的Hue灯。 这使调试和/或向此工作流添加新功能对我来...
hue集成Oozie工作流调度之Spark2 Workflow
jmx_bigdata的博客
10-25 2423
一、环境准备 CDH5.15.0，spark2.3.0，hue3.9.0 注意：由于使用的是CDH集群，默认的spark版本为1.6.0，又通过parcel包的方式安装了spark2.3.0，此时集群存在两个spark版本。而hue集成的是spark1.6,需要将spark2的jar包和oozie-sharelib-spark*.jar上传到hue的share lib中，目录 为：/user/...
大数据平台学习之路（4）编译hue并使用
Vitamin__C的博客
05-31 1203
1、背景 上篇博客已经记录了安装hive，编译spark的过程，但是spark-sql shell或者hive shell编写sql来并不是很方便，所以这篇博客介绍hue，编译hue并使用。 2、HUE简介 github地址https://github.com/cloudera/hue Hue是一个开放源码的SQLWorkbench，用于浏览、查询和可视化数据仓库中的数据：gethue....
Hue框架
happy19870612's blog
11-21 8925
Hue是一个图形化的用户界面，去操作或者开发一些hadoop应用，集成一些框架。   一 Hue架构图 支持的框架： JobOOZIE PIG HDFS:查文件 文件的管理：增删改查 HiveMetaStore 管理器 ImaplaShell   二 Hue安装部署 2.1下载解压 下载地址：https://archive.cloudera.com/cdh5/cdh
HUE查看oozie的正在执行的workflow任务的运行情况，状态等
小哇
11-02 949
注意：右上角 有个jobs，不要从这进入，很难查看到每个执行的状态。
cdh版hue+oozie调度，workflow之shell脚本执行以及日志查看
adshiye的博客
11-20 8177
1、首先准备两个脚本 test1.sh #!/bin/sh echo "param1=$1" test2.sh #!/bin/bash sh ./test1.sh $1 sh test1.sh 2018-11-20 执行结果为： 2、将脚本上传到hdfs hdfs dfs -mkdir /test hdfs dfs -put test1.sh test2.sh /test 3、hue上...
HUE 打开 WorkFlow异常 Operation category READ is not supported in state standby
jast
06-26 1923
异常：在hue上配置的一些定时任务突然停止执行。 1.打开页面HUE->WorkFlow 发现页面异常，无法进入WorkFlow，如下图 2.查看HUE日志 查看到WebHdfsException异常，访问HDFS文件浏览器报错， [26/Jun/2019 09:29:55 +0800] exception ERROR Internal Server E...
Oozie基于Hue全流程调度
L, there!
07-10 5084
使用任务调度框架Oozie调度业务数仓全流程。 目录 准备 创建工作流 定时调度 Bundle 准备 1. 数仓流程说明 业务数仓整个流程大致分为六个阶段，每个阶段都依赖于上阶段的计算结果，所以必须要上阶段执行完成再执行下一阶段： 大致流程： MySQL -> HDFS -> ODS -> DWD -> DWS -> ADS -> ...
hue执行workflow工作流出现直接FAILED
小刘的博客
02-23 849
场景： 执行以下任务流的时候就出现了直接失败的情况 在第一次执行并且数据完善的情况下测试的，状态是成功的 但是第二次是在第一次基础上测试的，基础数据有所缺失 日志为： Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully Oozie Launcher,
使用Cloudera Manager部署HUE
weixin_33853827的博客
05-28 240
　　　　　　　　　　　　使用Cloudera Manager部署HUE 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.添加HUE服务 1>.进入CM服务安装向导 2>.选择需要安装的hue服务 3>.为hue选择依赖环境 ...
hue 界面下 用sql查询
最新发布
06-09
在Hue界面下，可以使用Hue自带的SQL编辑器来执行SQL查询。具体操作步骤如下： 1. 登录Hue界面，并选择Hive、Impala、Spark SQL等支持SQL的组件。 2. 在左侧的导航栏中选择“查询编辑器”，然后选择对应的数据库和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值