hue的安装

大数据 专栏收录该内容
3 篇文章 0 订阅

说明:大数据集群是cdh版本的,由cloudera-manager管理,由于hue和cm版本的造成了Hue的hive历史查询不能下载,所以在集群之外重新安装了Hue
Hue的安装
1:下载安装包
去官网直接下载,因为之前的hql历史查询记录不能下载,所以选择另一个版本
2:安装依赖
sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel python-simplejson sqlite-devel gmp-devel -y
3:编译Hue
进入hue目录下执行make apps进行编译
在编译的时候有可能会报错,一般都是依赖没有安装完全,根据提示安装依赖即可
4:修改配置文件
基础配置,打开desktop/conf/hue.ini文件
#Set this to a random string, the longer the better
#This is used for secure hashing in the session store.
#在此说明一下,下面这个值不能为空,作用是提高安全性,可以设置任意英文
secret_key=jFE93j;2[290-eiw.KEiwN2s3[‘d;/.q[eIW^y#e=+Iei*@Mn<qW5o

#Webserver listens on this address and port
http_host=192.168.6.94
http_port=8888

#Time zone name
time_zone=Asia/Shanghai

#Enable or disable Django debug mode.
django_debug_mode=false

#Enable or disable backtrace for server error
http_500_debug_mode=false

5:启动hue,进行测试
./build/env/bin/supervisor
在网页输入http://192.168.6.94:8888,如果能显示页面则表示成功,如果报错(没有截图),最后一句为:Database.Cursor.execute(self, query, params) OperationalError: attempt to write a readonly database。这是因为权限的问题,执行sudo chown -R hue:hue /home/apps/hue即可。
6:hue与hdfs集成
进入目录:cd /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hadoop/etc/hadoop

(1)更改hadoop的hdfs-site.xml 文件
配置启动HDFS中的webHDFS
vim hdfs-site.xml 增加:

dfs.webhdfs.enabled true dfs.permissions.enabled false (2)更改hadoop 的core-site.xml文件,在此说明一下,因为集群本身是cm安装的cdh版本,这两个设置已经设置过了,所以不必再设置,如果是手动安装的集群,就有必要设置一下。 配置下Hue访问HDFS用户权限 vim core-site.xml hadoop.proxyuser.hue.hosts * hadoop.proxyuser.hue.groups *

修改hue.ini
配置hdfs
# Enter the filesystem uri
fs_defaultfs=hdfs://192.168.6.94:8020

  # NameNode logical name.
  ## logical_name=

  #Use WebHdfs/HttpFs as the communication mechanism.
  # Domain should be the NameNode or HttpFs host.
  # Default port is 14000 for HttpFs.
  webhdfs_url=http://192.168.6.94:50070/webhdfs/v1
hadoop_conf_dir=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hadoop/etc/hadoop

配置yarn
[[yarn_clusters]]

[[[default]]]
  # Enter the host on which you are running the ResourceManager
  resourcemanager_host=192.168.6.94

#The port where the ResourceManager IPC listens on
resourcemanager_port=8032

  # Whether to submit jobs to this cluster
  submit_to=True

  # URL of the ResourceManager API
  resourcemanager_api_url=http://192.168.6.94:8088

  # URL of the ProxyServer API
  proxy_api_url=http://192.168.6.94:8088

  # URL of the HistoryServer API
  history_server_api_url=http://192.168.6.94:19888

配置databases
[[database]]
# Database engine is typically one of:
# postgresql_psycopg2, mysql, sqlite3 or oracle.
#
# Note that for sqlite3, ‘name’, below is a path to the filename. For other backends, it is the database name
# Note for Oracle, options={“threaded”:true} must be set in order to avoid crashes.
# Note for Oracle, you can use the Oracle Service Name by setting “port=0” and then “name=:/<service_name>”.
# Note for MariaDB use the ‘mysql’ engine.
engine=mysql
host=192.168.1.7
port=3306
user=loki
password=Aa1111
# Execute this script to produce the database password. This will be used when password is not set.
## password_script=/path/script
name=hue_important
配置hive
[beeswax]

#Host where HiveServer2 is running.
#If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=192.168.6.94

#Port where HiveServer2 Thrift server runs on.
hive_server_port=10000

#Hive configuration directory, where hive-site.xml is located
hive_conf_dir=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive

#Timeout in seconds for thrift calls to Hive service
server_conn_timeout=120
配置hbase
[hbase]
#Comma-separated list of HBase Thrift servers for clusters in the format of ‘(name|host:port)’.
#Use full hostname with security.
#If using Kerberos we assume GSSAPI SASL, not PLAIN.
hbase_clusters=(Cluster|192.168.6.105:9090)
(说明一下:在这里我们是cloudera-manger搭建的环境,所以这个9090的端口号要查清楚究竟是在哪个机器上,否则会报错)

#HBase configuration directory, where hbase-site.xml is located.
hbase_conf_dir=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase/conf
遇到的错误:
1.集成hbase的ip写错原因,连接不上9090端口,就是上面的错误。
2.ERROR 2013 (HY000): Lost connection to MySQL server at ‘reading authorization packet’, system error: 0
这个错误又由于io造成的,属于配置的问题。
3.数据库未初始化
在hue.ini中配置好了数据库,没有初始化,直接启动。
报错:ProgrammingError: (1146, “Table ‘hive.django_session’ doesn’t exist”)
在hue/build/env的目录下执行
bin/hue sycndb
bin/hue migrate
执行完成后,可以在msyql相应的数据库看到所生成的表。
初始化数据库时,会让你输入hue的用户和密码,这个一定要记住。
4.修改hue下载限制为10万行的限制

-1表示下载没有限制
5.databases is locked
这是没有与数据库集成的问题,这是hue默认的SQLite数据库出现错误,可以用mysql数据库来替换
6.Database.Cursor.execute(self, query, params) OperationalError: attempt to write a readonly database
这是没有服务hue权限的问题,执行sudo chown -R hue:hue /home/apps/hue即可。
7.Failed to contact an active Resource Manager
是由于Resource Manager的IP没有配置正确
[[yarn_clusters]]
[[[default]]]
# URL of the ResourceManager API
resourcemanager_api_url=http://192.168.6.94:8088
修改了重启即可

  • 0
    点赞
  • 1
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值