概述(感谢hidataplus的共享共建,才有今天的分享_)
本文主要是安装doris hue。
doris 不是hadoop生态的。为什么放在一起呢!因为这里的hue把doris也管理起来了。so 格局放开点啰~~
在这里遇到些坑(或是自己能力不足吧,又得到历练了。哈哈)
本文目的:为HDP 3.3.2.0的推广,接个力 doris hue
接前文总规划HDP3.3.2.0-002实践试范,展开第六章
六、扩展 doris hue
6.1 前配置准备
doris:(模板机里没做,所以补上)
[root@slave123 ~]# sysctl -w vm.max_map_count=2000000 --临时有效
[root@slave124 ~]# sysctl -w vm.max_map_count=2000000 --临时有效
[root@slave125 ~]# sysctl -w vm.max_map_count=2000000 --临时有效
vim /etc/sysctl.conf --永久有效,需要重启系统
vm.max_map_count=2000000
hue:(路演时,这步漏了)
yum -y install python2-psycopg2
6.2 添加组件
按服务器规划来配
数据库连ambari机器的pg 9.2。
6.3 hue 数据库
sudo -u postgres psql
CREATE DATABASE hue;
CREATE USER hue WITH PASSWORD ‘hue_123’;
GRANT ALL PRIVILEGES ON DATABASE hue TO hue;
\connect hue;
CREATE SCHEMA hue AUTHORIZATION hue;
ALTER SCHEMA hue OWNER TO hue;
ALTER ROLE hue SET search_path to ‘hue’, ‘public’;
在第一章预告里安装hue会报错,就是这里了
遇到困难:
漏装 python2-psycopg2。补装再错
多试不行。果断 安装pg14(这早晚都要移出来)
安装pg14去(按规划在master安装)。。+ pgadmin4
也对比了连接库~~(左是 ambari pg 9.2, 右是master pg 14)
ambari机import psycopg2不正常!!改到master机装hue吧。
谨慎点,在master 机验证下 import psycopg2 是否正常。
误操作了:数据库IP还是填192.168.1.120。结果连到9.2去了(过程中,在ambari机补装pg 9.6,又把连接库修改了。才不报错。但还是有问题的。ambari机能装hue也用不了。后续会说原因)。
总得来说:应该是ambari机上python2-psycopg2不能正常使用。而master没问题。
好吧。实际与计划总会有偏差。
出于对问题的探索(另开一台机):对装有自带pg 9.2的ambari机安装 python2-psycopg2yum -y install python2-psycopg2
复现了问题。
出于对后续pg 9.2迁移pg14考虑。hue还是重装。连到pg14。
这故事有点绕了,要静心听。
总结就是:安装hue前,要确保(2点):
1,安装好库:python2-psycopg2
yum -y install python2-psycopg2
2,库能正常用: import psycopg2
6.4 整理装hue时要修改的配置(3处)
1,数据库连接
2,doris fe的主机(开头就讲了,这里的hue把doris也管理起来,不改的话,登录进入先见右上角的报错。所以这里一起整理到位)
3,时区
6.5 hue配置文件结构层次
Hue是一个开源的Apache Hadoop UI系统,可以管理hadoop生态的各个组件。
对配置文件 :/usr/hdp/3.3.2.0-002/hue/desktop/conf/hue.ini 不算熟悉。
动手分析下结构层次如下:
[desktop] -- General configuration for core Desktop features (authentication, etc)
[[django_admins]]
[[custom]]
[[auth]]
[[ldap]]
[[vcs]]
[[database]] hue数据库
[[session]]
[[smtp]]
[[knox]]
[[kerberos]]
[[oauth]]
[[oidc]]
[[metrics]]
[[slack]]
[[tracing]]
[[task_server]]
[[gc_accounts]]
[[raz]]
[notebook] -- Settings to configure the snippets available in the Notebook
[[interpreters]]
[[[mysql]]]
[[[hive]]]
[[[impala]]]
[[[sparksql]]]
[dashboard]
[[engines]]
[hadoop] -- Settings to configure your Hadoop cluster.
[[hdfs_clusters]]
[[[default]]]
[[yarn_clusters]]
[[[default]]]
[[[ha]]]
[beeswax] -- Settings to configure Beeswax with Hive
[[ssl]]
[metastore] -- Settings to configure Metastore
[impala] -- Settings to configure Impala
[[ssl]]
[spark] -- Settings to configure the Spark application.
[oozie] -- Settings to configure the Oozie app
[filebrowser] -- Settings to configure the Filebrowser app
[pig] -- Settings to configure Pig
[sqoop] -- Settings to configure Sqoop2
[proxy] -- Settings to configure Proxy
[hbase] -- Settings to configure HBase Browser
[search]
[libsolr]
[indexer]
[jobsub]
[jobbrowser]
[security]
[zookeeper]
[useradmin]
[liboozie]
[aws]
[azure]
[libsentry]
[libzookeeper]
[librdbms] -- Settings for the RDBMS application
[[databases]]
[libsaml]
[liboauth]
[kafka]
[metadata]
[[manager]]
[[optimizer]]
[[catalog]]
[[navigator]]
[[prometheus]]
6.6 正常进入
总结:
1,开头用自带pg 9.2是小白场景,图个简单进入。生产中是很少用的。这样编排是为了路演由简单到复杂。推荐是用pg12/14。
2,若本文中提到的复现问题属实,我认为也是有必要把自带pg9.2升到9.6或12或14。(小型数据团队,用内嵌式pg也是能满的,也是一个可行选择,不该被边缘化)