Hue（三）集成Hadoop

最新推荐文章于 2022-04-14 16:22:56 发布
最新推荐文章于 2022-04-14 16:22:56 发布
阅读量4.7k 收藏 1
点赞数
分类专栏： Hue 文章标签： hue hadoop hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maomaosi2009/article/details/45646661
版权
本文详述了如何配置Hadoop与Hue，以便通过Hue的Web UI管理HDFS文件系统和监控MapReduce作业状态。配置涉及Hadoop集群的HDFS和MapReduce设置，以及Hue自身的HDFS和YARN集成。最后通过验证步骤确保配置成功。
摘要由CSDN通过智能技术生成

1. 说明

本篇主要介绍如何配置Hadoop与Hue，来完成从Hue的Web UI中查看并管理HDFS文件系统、查看MapReduce执行状态的目的。配置分为两部分，一个是针对Hadoop集群本身的配置，一个是针对Hue的配置。


2. 配置Hadoop

先对Hadoop集群进行配置，整个Hadoop集群配置文件记得同步，配置完成后需要重启整个集群。


2.1 配置HDFS

配置Hadoop集群的hdfs-site.xml，添加如下参数：

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

配置Hadoop集群的core-site.xml，添加如下参数：

<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
最低0.47元/天 解锁文章
芦苇_
关注
专栏目录
hue与Hadoop的集成
强者的博客
11-15 682
hue与Hadoop的集成 1、修改Hadoop相关配置文件 hdfs-site.xml dfs.webhdfs.enabled -》默认是开启，所以不再配置 dfs.permissions.enabled false core-site.xml 配置hue的访问hdfs的权限 （oozie） hadoop.proxyu
HUE与hadoop框架的集成使用
weixin_43660039的博客
12-26 525
一、HUE与其他框架的集成 1.1 hue与hdfs 1.1.1 配置HDFS 修改：hdfs-site.xml &lt;property&gt;dfs.webhdfs.enabled&lt;/property&gt; &lt;value&gt;true&lt;/value&gt; &lt;description&gt;Enable WebHDFS (REST API) in Namenodes ...
Hue--集成Hadoop
qq_46893497的博客
12-23 327
参考： http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0/manual.html#_hadoop_configuration 配置Hue与Hadoop的集成：关闭所有Hadoop进程 stop-dfs.sh stop-yarn.sh mr-jobhistory-daemon.sh stop historyserver 修改Hadoop的配置 修改core-site.xml，配置代理用户，允许hue这个框架访问Hadoop <.
HUE 集成Hadoop
weixin_42581666的博客
05-19 219
进入hadoop配置目录，编辑core-site.xml /etc/hadoop/etc/hadoop vi core-site.xml 添加如下内容 <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.p
hadoop(3)
wonder的地下室
07-21 1342
该部分内容太多，之后专门引入。TBC
Hadoop学习第三篇之HUE部署
qq_37348649的博客
03-20 342
最近公司pre-prod环境部署大数据组件，下面我将部署文档笔记以博客的形式share给大家 四台物理机信息配置 IP DNS User localhost01 sosvsmshadoop1.ps.com 新建Linux用户hue localhost02 sosvsmshadoop2.ps.com 新建Linux用户hue localho...
Hadoop集成Hue详解
m1213642578的专栏
08-25 4905
Hue安装和配置
hue的安装和hadoop集群整合
自律
11-17 964
一、 Hue概述 二、 环境准备 Jdk1.8 Root用户启动hdfs、yarn 正常连接外网 hue源码包 下载地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz maven环境 https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 下载apache-maven-3.3.9-bin.tar.gz 三、maven安装 (1) 上传到software并解压
HUE
Tyler93
08-28 878
    11、配置和使用HUE 一、Demo：启动和使用HUE 1、启动：hadoop：start-all.sh hbase: start-hbase.sh hbase-daemon.sh start thrift hive: hive --service metastore hiveserver2 HUE: bin/supervisor (/root/training/hue/build/e...
HUE简介及编译安装
11-22
HUE是一个轻量级的Web服务器，可以让你直接从浏览器中使用的Hadoop。HUE仅仅是一个“对任何Hadoop发行版的可视图”，并可以在任何计算机上安装。，centos中对hue的编译安装说明
Hue源码编译-添加Phoenix
Swhite_WZ
09-11 515
准备hue需要的环境 hadoop zookeeper hbase # 此次连接的是Phoenix所以需要Phoenix Phoenix 下载hue源码包 解压源码包unzip hue-release-4.7.1.zip 创建一个hue的用户 安装必要的依赖 yum install apache-maven \ ant \ asciidoc \ cyrus-sasl-devel \ cyrus-sas.
hue 登录访问不了HDFS webhdfs_url 调整
weixin_30384031的博客
07-12 1186
Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup". 原因：查看的hdfs目录不支持备用状态 HDFS起了HA功能，两个NameNode，一个激活状态，一个备用状态 所以，在Hue的配置当中，HDFS...
hue和Phoenix的语法和函数对比
Swhite_WZ
09-11 323
文章目录目录GrammarAggregate Functions 目录 Grammar 指令 Phoenix hue 对比/差异 SQL SELECT 从一个或多个表中选择数据 - 无 select * from test.us_population UPSERT VALUES 如果不存在，则插入，否则更新表中的值。 - 无 UPSERT INTO test.us_population (state, city, population) values (‘IA’,‘Chicanm’,28
Hue安装、或操作过程中遇到的问题
ykqidev的博客
04-14 3157
[Hue-001] 编译Hue时报错，File “/usr/bin/yum“, line 30 except KeyboardInterrupt 解决方案：主要是系统自带的python2.7，默认环境是python，你安装python3.x后，更改默认/usr/bin/python的软引用为python3.x导致的。 直接修改/usr/bin/yum文件中的第一行为 #!/usr/bin/python2.7 [Hue-002] Hue启动报错，OperationalError: attempt to w
CDH集群hue继承hdfs遇到问题
liminghui4321的博客
08-18 1179
您是 Hue 管理员，但不是 HDFS 超级用户 解决方法: 1.cdh 中给root 赋值 hdfs 超级用户权限 #Linux下默认是没有supergroup组的 #hadoop:x:994:hdfs,mapred,yarn cat /etc/group #查看hdfs用户的组是hadoop #hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin cat /etc/passwd #所以，先在Linux添加s...
使用HUE来管理hadoop集群
热门推荐
rainysia的专栏
03-23 2万+
HUEHue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为M
Hue使用（Apache Hadoop UI系统）
haoyuexihuai的专栏
12-09 1万+
一、Hue的安装部署 Hue版本：cdh5.3.6-hue-3.7.0 需要编译才能使用需要联网 依赖(针对不同Linux版本) ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy (for unit tests only) libxml2-devel libxslt-devel mvn (
Hadoop集群配置Hue
qq_36274515的博客
01-24 2879
Hue是一个轻量级的Web服务器，可让您直接从浏览器使用Hadoop。Hue只是一个“在任何Hadoop发行版之上的视图”，可以安装在任何机器上。 官方文档在官方文档 有多种方式（比如gethue.com的 “下载”部分）安装Hue。下一步就是将Hue配置为指向您的Hadoop集群。默认情况下，Hue假定存在一个本地集群（即只有一台机器）。为了与真正的集群进行交互，Hue需要知道哪些主机分配了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值