Hue
黑猴子的家
拥有技术,便拥有自由
B站 Up主专注于技术 https://space.bilibili.com/398602910
展开
-
黑猴子的家:Hue 与 Spark 集成
1、修改hue.ini配置文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[[spark] ]标签,涉及修改如下[root@node1 conf]$ vim hue.ini[notebook] [[interpreters]] [[[hive]]] nam...原创 2018-09-14 14:58:00 · 1182 阅读 · 0 评论 -
黑猴子的家:Hue 与 YARN 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[[yarn_clusters]]标签,涉及修改配置如下[victor@node1 conf]$ vim hue.ini[[yarn_clusters]] [[[default]]] resourcemanager_ho...原创 2018-09-14 14:14:00 · 135 阅读 · 0 评论 -
黑猴子的家:Hue安装部署
1、帮助文档http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html2、准备环境依赖打开官方网站可以找到对应的部署HUE所需的各种依赖列表如上图所示,这部分内容是告诉你,安装编译Hue需要依赖哪些Linux安装包,你只需要使用yum命令一次安装就可以了,在此给大家整理好该命令(注意使用...原创 2018-09-14 13:19:00 · 253 阅读 · 0 评论 -
黑猴子的家:Hue 简介
1、Hue来源HUE=HadoopUser Experience,看这名字就知道怎么回事了吧,没错,直白来说就是Hadoop用户体验,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制...原创 2018-09-14 11:38:00 · 166 阅读 · 0 评论 -
黑猴子的家:Hue 与 Sqoop2 集成
HUE只支持Sqoop2的集成,不支持Sqoop1集成,在此不再演示。http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/user-guide/sqoop.html原创 2018-09-14 14:52:00 · 616 阅读 · 0 评论 -
黑猴子的家:Hue 与 Oozie 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[liboozie]标签以及[oozie]标签涉及修改如下[root@node1 conf]$ vim hue.ini[liboozie]oozie_url=http://hadoop102:11000/oozieremote_depl...原创 2018-09-14 14:43:00 · 181 阅读 · 0 评论 -
黑猴子的家:Hue 与 Zookeeper 集成
1、修改hue.ini配置文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[zookeeper]标签,涉及修改如下[root@node1 conf]$ vim hue.ini[zookeeper][[clusters]][[[default]]]host_ports=hadoop102:2181,had...原创 2018-09-14 14:50:00 · 160 阅读 · 0 评论 -
黑猴子的家:Hue 与 HBase 集成
1、修改hue.ini配置文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[hbase]标签,涉及修改内容如下[root@node1 conf]$ vim hue.ini[hbase]hbase_clusters=(Cluster|hadoop102:9090)hbase_conf_dir=/opt/mo...原创 2018-09-14 14:46:00 · 180 阅读 · 0 评论 -
黑猴子的家:Hue 与 Hive 集成
1、修改Hive配置文件hive-site.xmlHUE与hive集成需要hive开启HiveServer2服务,相关配置如下<property> <name>hive.server2.thrift.port</name> <value>10000</value></property><p...原创 2018-09-14 14:23:00 · 151 阅读 · 0 评论 -
黑猴子的家:Hue 与 Mysql 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[[[mysql]]]标签,涉及修改如下[root@node1 conf]$ vim hue.ini[[[mysql]]]nice_name="ZMysqlDB"engine=mysqlhost=hadoop102port=3306...原创 2018-09-14 14:31:00 · 128 阅读 · 0 评论 -
黑猴子的家:Hue 与 Spark 集成 +livy
1、先决条件安装hue、hadoop2、spark on yarn 安装(1)环境变量##JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME...原创 2018-09-14 16:12:00 · 611 阅读 · 0 评论 -
黑猴子的家:Hue 中 Spark 实现提交运行源码过程
一.简介1.1 Hue notebook在Hue3.8版本之前,spark是以UI组件进行展示的。在3.8版本之后,为了支持不同语言例如python,scala并提供一个类似REPL(类似于一个终端可以编辑所有变成语言)的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业,需要安装Livy服务器。1.2 Spar...原创 2018-09-14 15:15:00 · 481 阅读 · 0 评论 -
黑猴子的家:Hue 与 各个框架集成需要开启的服务项总结
1、Hadoop[root@node1 hadoop]$ sbin/start-dfs.sh[root@node1 hadoop]$ sbin/start-yarn.sh[root@node1 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver[root@node1 hadoop]$ sbin/httpfs.sh star...原创 2018-09-14 15:07:00 · 577 阅读 · 2 评论