Hue安装及使用

hue框架 (会用)

**cloudera公司开源  
http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.2/
大数据的web工具,hue为其他以hadoop为基础的生态圈中的几乎所有的框架通过了一个基于web-ui平台的统一的操作或监控平台  
通过hue的web平台可以对其他的框架进行哪些操作呢
	hdfs  
		可以对hdfs上的目录及文件进行增删改查  
	hive  	
		可以通过hue的web页面编辑提交hql语句并对执行结果进行报表展示  
		查看hive表的元数据信息 
	yarn  
		详细查看MapReduce任务的执行进度及日志及配置等 
	hbase  
		对hbase表数据进行增删改查 
	rdbms 
		表数据进行增删改查
	spark  
		开发平台**  	

hue的架构

**hue ui -- web 平台   
hue server 服务进程 ,实现了与其他所有框架的底层信息交换  
hue database -- hue需要一个数据库支持存储其他框架的元数据信息或页面展示信息**  

hue的安装部署

1、安装hue所需要的第三方依赖包

	**$ sudo yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel  gmp-devel					
	完毕!  --- 表示完成**  

2、centos7系统需要执行此步骤

	**上传mysql-community-devel-5.7.28-1.el7.x86_64.rpm 包	
	$ sudo rpm  -ivh   mysql-community-devel-5.7.28-1.el7.x86_64.rpm**  	

3、上传hue的源码解压并进行编译安装

	**/var/cache/yum/x86_64/6 yum下载的安装包的路径** 
$ tar zxf /opt/softwares/hue-3.9.0-cdh5.14.2.tar.gz  -C /opt/cdh-5.14.2/
$ cd hue-3.9.0-cdh5.14.2/ 
$ make apps   编译安装   ---5分钟  
	make[1]: 离开目录“/opt/cdh-5.14.2/hue-3.9.0-cdh5.14.2/apps”   --编译安装成功 

4、修改hue的配置文件

$ vi desktop/conf/hue.ini
17行

*[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei
@Mn<qW5o
http_host=192.168.134.101
http_port=8888

Time zone name

time_zone=Asia/Shanghai**

5、启动hue server并访问hue web平台

	$ build/env/bin/supervisor   
	$ ps -ef | grep hue  查看hue的服务进程信息(包括pid号)  
	http://192.168.134.101:8888/    -- hue web平台 
	第一次登陆的用户名和密码需要牢记 		
		用户名--  建议使用当前的普通用户 		

hue 与其他框架进行集成及演示
1、hue与hadoop的集成及测试
1)修改hadoop的配置文件
hdfs-site.xml

dfs.permissions.enabled
false

core-site.xml
配置hue框架的代理用户访问hadoop的权限
代理用户名使用 hue


hadoop.proxyuser.hue.hosts



hadoop.proxyuser.hue.groups


重启hadoop服务!!!!
2)修改hue的配置文件
$ vi desktop/conf/hue.ini
881行
[hadoop]

Configuration for HDFS NameNode

------------------------------------------------------------------------

[[hdfs_clusters]]
# HA support by using HttpFs
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://192.168.134.101:8020

  # NameNode logical name.
  ## logical_name=

  # Use WebHdfs/HttpFs as the communication mechanism.
  # Domain should be the NameNode or HttpFs host.
  # Default port is 14000 for HttpFs.
  webhdfs_url=http://192.168.134.101:50070/webhdfs/v1

  # Change this if your HDFS cluster is Kerberos-secured
  ## security_enabled=false

  # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs
  # have to be verified against certificate authority
  ## ssl_cert_ca_verify=True

  # Directory of the Hadoop configuration
  hadoop_conf_dir=/opt/cdh-5.14.2/hadoop-2.6.0-cdh5.14.2/etc/hadoop
  hadoop_hdfs_home=/opt/cdh-5.14.2/hadoop-2.6.0-cdh5.14.2
  hadoop_bin=/opt/cdh-5.14.2/hadoop-2.6.0-cdh5.14.2/bin

Configuration for YARN (MR2)

------------------------------------------------------------------------

[[yarn_clusters]]

[[[default]]]
  # Enter the host on which you are running the ResourceManager
  resourcemanager_host=192.168.134.101

  # The port where the ResourceManager IPC listens on
  resourcemanager_port=8032

  # Whether to submit jobs to this cluster
  submit_to=True

  # Resource Manager logical name (required for HA)
  ## logical_name=

  # Change this if your YARN cluster is Kerberos-secured
  ## security_enabled=false

  # URL of the ResourceManager API
  resourcemanager_api_url=http://192.168.134.101:8088

  # URL of the ProxyServer API
  proxy_api_url=http://192.168.134.101:8088

  # URL of the HistoryServer API
  history_server_api_url=http://192.168.134.101:19888	

	

重启hue  server 
	$ ps -ef | grep hue  查看hue server进程的pid号 
	$ kill  xx  xx  
	$ build/env/bin/supervisor   
	



	
3)演示通过hue可以对hadoop进行操作 
	针对hdfs上的文件或目录 
		添加 
		删除 
		编辑文件 
		修改名称 
		修改所属人及执行权 
		上传下载 
		搜索 


		
		
	针对yarn集成后的操作(主要针对MapReduce任务的跟踪查看日志等) 
		$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar  wordcount /oozie-apps/inputdir/wc1.txt /output03 
		
		查看MapReduce任务、oozie任务、查询任务的执行情况 

2、hue与hive的集成及操作演示

1)启动hive的hiveserver2服务进程 
	hue需要间接通过hiveserver2服务进程读取hive的表数据  
	$ bin/hiveserver2 &  
	
	
	
2)配置并启动hive的metastore服务进程   
	hue需要间接通过metastore服务进程读取hive的元数据信息 (其他的例如flume、spark、impala、kylin等在读取hive的元数据时都需要通过hive的此进程间接读取)
	
	修改 conf/hive-site.xml  
		<property>
		  <name>hive.metastore.uris</name>
		  <value>thrift://192.168.134.101:9083</value>
		</property>
			
			
	在配置文件中所声明的服务器上启动hive的metastore服务进程 
		$ bin/hive --service metastore & 


		
		
	什么情况下需要为hive配置并启动metastore服务进程 
		远程模式 
		有其他的框架需要读取hive的元数据时(flume、spark、impala、kylin等) 	
		

	
	
	hive的三种安装模式: 
		嵌入模式=》将hive表元数据信息存储在hive内置的derby数据库中(学习测试) 
		本地模式=》将hive表元数据信息存储在与hive所安装的服务器同一台服务器上的mysql数据库中(开发测试)
		远程模式=》
			将hive表元数据信息存储在远程服务器的mysql数据库中(hive的客户端安装服务器与mysql所安装在的服务器不是同一台)(生产)
			远程模式下需要在hive的客户端上启动一个metastore服务进程,hive的客户端需要通过metastore服务进程间接读取远程服务器上的hive元数据库  

			
		
		
			
	一旦为hive配置好了metastore服务进程,以后在使用hive的linux shell客户端与hive进行交互时必须先启动metastore服务进程!!! 





3)安装安全插件工具 
	$ sudo yum  -y install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi


		
4)修改hue的配置文件 
		
999行 

[beeswax]

Host where HiveServer2 is running.

If Kerberos security is enabled, use fully-qualified domain name (FQDN).

hive_server_host=192.168.134.101

Port where HiveServer2 Thrift server runs on.

hive_server_port=10000

Hive configuration directory, where hive-site.xml is located

hive_conf_dir=/opt/cdh-5.14.2/hive-1.1.0-cdh5.14.2/conf

5)重启hue并演示对hive的操作 

3、hue与RDBMS(mysql)的集成及演示

修改hue的配置文件 

1557行

[[[mysql]]]
  # Name to show in the UI.
  nice_name="My SQL DB"

  # For MySQL and PostgreSQL, name is the name of the database.
  # For Oracle, Name is instance of the Oracle server. For express edition
  # this is 'xe' by default.
  ## name=mysqldb

  # Database backend to use. This can be:
  # 1. mysql
  # 2. postgresql
  # 3. oracle
  engine=mysql

  # IP or hostname of the database to connect to.
  host=192.168.134.101

  # Port the database server is listening to. Defaults are:
  # 1. MySQL: 3306
  # 2. PostgreSQL: 5432
  # 3. Oracle Express Edition: 1521
  port=3306

  # Username to authenticate with when connecting to the database.
  user=root

  # Password matching the username to authenticate with when
  # connecting to the database.
  password=123456


重启hue  

4、hue与oozie的集成

修改ooize-site.xml
配置hue可以作为代理向oozie提交workflow等任务
官网=》2.2.4. Configure Oozie

oozie.service.ProxyUserService.proxyuser.hue.hosts * oozie.service.ProxyUserService.proxyuser.hue.groups *

修改hue.ini
官网=》3.4. JobDesigner and Oozie Configuration

1421行

[liboozie]
oozie_url=http://hadoop-senior01.beifeng.com:11000/oozie
remote_deployement_dir=/oozie-apps //也可以使用默认,存放自定义的oozie app目录

使用hue编辑提交一个workflow任务:
schedulor=》workflow=》拖拽图标=》添加必要参数=》执行

https://blog.csdn.net/NIeson2012/article/details/70156012?locationNum=3&fps=1

===========================================

发布了45 篇原创文章 · 获赞 1 · 访问量 565
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 1024 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览