![](https://img-blog.csdnimg.cn/20200831185119995.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hue
Hue学习和使用
小哇666
专注web/大数据
展开
-
hue调度shell脚本,shell脚本操作hive表,shell脚本里用spark-submit 调用java程序 [生产环境使用]
executeAllConvert.sh ,hue调用此shell文件,这个文件是调用的入口文件#!/bin/sh -ldir=$(cd "$(dirname "$0")";pwd)source ./env.confspark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@KIUKIANG.COM --packages com.alibaba:fastjson:1.2.46,org.postgre原创 2020-11-06 22:09:54 · 545 阅读 · 0 评论 -
hue修改oozie的workflow工作流和Schedules任务,修改不生效的解决办法
在hue可视化界面,编辑oozie的workflow工作流和Schedules任务,界面上明明已经添加了某个子workflow,或添加了shell命令任务,或是明明删除了某个节点,因为某些原因没有生效,导致报错的解决办法直接修改此工作流的workflow.xml文件也可以直接点开始运行,查看生成的oozie的workflow.xml文件是否更新...原创 2020-11-06 21:41:38 · 806 阅读 · 0 评论 -
HUE查看oozie的正在执行的workflow任务的运行情况,状态等
注意:右上角 有个jobs,不要从这进入,很难查看到每个执行的状态。原创 2020-11-02 12:25:03 · 919 阅读 · 0 评论 -
HUE修改oozie的workflow任务
保存的workflow一般存放在这里查看哪个具体的workflow任务在什么位置,可以看下这里的详细原创 2020-10-27 20:25:46 · 419 阅读 · 1 评论 -
利用Hue配置定时调度任务
利用Hue配置定时调度任务在hue中,也可以针对workflow配置定时调度任务,具体操作如下:一定要注意时区的问题,否则调度就出错了。保存之后就可以提交定时任务。点击进去,可以看到定时任务的详细信息。...原创 2020-08-31 21:03:32 · 2067 阅读 · 0 评论 -
利用hue调度shell脚本和hive脚本-Demo演示
在HDFS上创建一个shell脚本程序文件在HDFS上创建一个hive sql脚本程序文件如以下文件打开工作流调度页面。调用hive脚本调用shell脚本原创 2020-08-31 20:58:46 · 702 阅读 · 1 评论 -
Hue集成Impala
Hue集成Impala7.1.修改Hue.ini[impala] server_host=node-3 server_port=21050 impala_conf_dir=/etc/impala/conf7.2.重启Huecd /export/servers/hue-3.9.0-cdh5.14.0/build/env/bin/supervisor集成后的效果原创 2020-08-31 20:42:03 · 834 阅读 · 0 评论 -
Hue集成Hbase
Hue集成Hbase6.1.修改hbase配置在hbase-site.xml配置文件中的添加如下内容,开启hbase thrift服务。修改完成之后scp给其他机器上hbase安装包。<property> <name>hbase.thrift.support.proxyuser</name> <value>true</value></property><property> <name.原创 2020-08-31 20:37:33 · 408 阅读 · 0 评论 -
Hue集成Oozie
Hue集成Oozie5.1.修改hue配置文件hue.ini[liboozie] # The URL where the Oozie service runs on. This is required in order for # users to submit jobs. Empty value disables the config check. oozie_url=http://node-1:11000/oozie # Requires FQDN in oozie_url.原创 2020-08-31 20:28:31 · 693 阅读 · 0 评论 -
Hue集成Mysql
Hue集成Mysql4.1.修改hue.ini需要把mysql的注释给去掉。 大概位于1546行[[[mysql]]] nice_name="My SQL DB" engine=mysql host=node-1 port=3306 user=root password=hadoop4.2.重启huecd /export/servers/hue-3.9.0-cdh5.14.0/build/env/bin..原创 2020-08-31 20:13:35 · 153 阅读 · 0 评论 -
Hue集成Hive
Hue集成Hive如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)。3.1.修改Hue.ini[beeswax] hive_server_host=node-1 hive_server_port=10000 hive_conf_dir=/export/servers/hive/conf server_conn_ti.原创 2020-08-31 20:07:43 · 335 阅读 · 0 评论 -
hue集成yarn
Hue集成YARN2.1.修改hue.ini[[yarn_clusters]] [[[default]]] resourcemanager_host=node-1 resourcemanager_port=8032 submit_to=True resourcemanager_api_url=http://node-1:8088 history_server_api_url=http://node-1:198882.2...原创 2020-08-31 20:01:20 · 225 阅读 · 0 评论 -
Hue 集成HDFS文件系统
Hue集成HDFS注意修改完HDFS相关配置后,需要把配置scp分发给集群中每台机器,重启hdfs集群。1.1.修改core-site.xml配置<!—允许通过httpfs方式访问hdfs的主机名 --><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><!—允许通过httpfs方式访问h..原创 2020-08-31 19:57:55 · 341 阅读 · 0 评论 -
hue通过tar.gz包的方式安装,启动
1 上传解压安装包Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装。Hue的压缩包的下载地址:http://archive.cloudera.com/cdh5/cdh/5/我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar原创 2020-08-31 19:45:46 · 587 阅读 · 0 评论 -
Hue概述,核心功能,架构说明
Hue简单介绍HUE=Hadoop User Experience个人理解:可视图的webui界面,方便大数据技术之间的CRUD操作。官方定义:Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。特性:一个HDFS的文件浏览器,一个MapReduce/YARN的Job浏览器,一个 HBas的浏览器,Hive,Pig,Cloudera Impala 和 Sqoop2 的查询编辑器。它还附带了一个Oozie的应用程序,用于创建和监控工作流程原创 2020-08-31 19:08:00 · 1215 阅读 · 0 评论