hue管理数据库添加表_Hive记录-使用Hue管理Hive元数据

Hue是一个Apache Hadoop的UI工具,支持HDFS、Hive、Solr等操作。本文介绍了如何安装Hue、配置Hue连接Hadoop集群,特别是如何将数据库设置为MySQL,并详细说明了hue.ini配置文件的相关设置,以便管理Hive元数据和执行HQL查询。
摘要由CSDN通过智能技术生成

Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。

Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库。其自身的功能包含有:

对HDFS的访问,通过浏览器来查阅HDFS的数据。

Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能。

提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard。

提供Impala的应用进行数据交互查询。

最新的版本集成了Spark编辑器和DashBoard

支持Pig编辑器,并能够运行编写的脚本任务。

Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle。

支持HBase对数据的查询修改以及可视化。

支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog。

另外,还有对Job的支持,Sqoop,ZooKeeper以及DB(MySQL,SQLite,Oracle等)的支持。

1.安装依赖项

ant

asciidoc

cyrus-sasl-devel

cyrus-sasl-gssapi

gcc

gcc-c++

krb5-devel

libtidy (for unit tests only)

libxml2-devel

libxslt-devel

make

mvn (from maven package or maven3 tarball)

mysql

mysql-devel

openldap-devel

python-devel

sqlite-devel

openssl-devel (for version 7+)

gmp-devel

2.安装hadoop/hbase/hive/zookeeper等

3.官网http://gethue.com下载安装包上传到LINUX服务器上去,解压,进入目录执行make apps,也可以make install安装到/usr/local下

4.修改desktop/conf/pseudo-distributed.ini/hue.ini---按项目实际情况进行配置

[desktop]

# hue webServer 地址和端口号

http_host=192.168.66.66

http_port=8001

# Webserver runs as this user

server_user=hue

server_group=hue

# This should be the Hue admin and proxy user

default_user=hue

# This should be the hadoop cluster admin

default_hdfs_superuser=root

[hadoop]

fs_defaultfs=hdfs://xinfang:9000

webhdfs_url=http://192.168.66.66:50070/webhdfs/v1/

hadoop_conf_dir=/usr/app/hadoop/etc/hadoop

[[yarn_clusters]]

# Enter the host on which you are running the ResourceManager

resourcemanager_host=192.168.66.66

# The port where the ResourceManager IPC listens on

resourcemanager_port=8032

# Whether to submit jobs to this cluster

submit_to=True

# URL of the ResourceManager API

resourcemanager_api_url=http://192.168.66.66:8088

# URL of the ProxyServer API

proxy_api_url=http://192.168.66.66:8088

# URL of the HistoryServer API

history_server_api_url=http://192.168.66.66:19888

[beeswax]

# If Kerberos security is enabled, use fully-qualified domain name (FQDN).

hive_server_host=192.168.66.66

# Port where HiveServer2 Thrift server runs on.

hive_server_port=10000

# Hive configuration directory, where hive-site.xml is located

hive_conf_dir=/usr/app/hive/conf

[zookeeper]

host_ports=192.168.66.66:2181

[[[mysql]]]

engine=mysql

# IP or hostname of the database to connect to.

host=192.168.66.66

# Port the database server is listening to. Defaults are:

# 1. MySQL: 3306

# 2. PostgreSQL: 5432

# 3. Oracle Express Edition: 1521

port=3306

# Username to authenticate with when connecting to the database.

user=root

# Password matching the username to authenticate with when

# connecting to the database.

password=1

#adduser hue    ---添加用户

#chmod -R 777 /usr/app/hue-4.0.0  ---授权

5.执行build/env/bin/supervisor

6.  浏览器输入:http://192.168.66.66:8001,创建用户和密码登录即可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值