HDP3.3.2.0-002实践试范(6)

概述(感谢hidataplus的共享共建,才有今天的分享_)

本文主要是安装doris hue。
doris 不是hadoop生态的。为什么放在一起呢!因为这里的hue把doris也管理起来了。so 格局放开点啰~~

在这里遇到些坑(或是自己能力不足吧,又得到历练了。哈哈)

本文目的:为HDP 3.3.2.0的推广,接个力 doris hue

在这里插入图片描述
接前文总规划HDP3.3.2.0-002实践试范,展开第六章

六、扩展 doris hue

6.1 前配置准备

doris:(模板机里没做,所以补上)

[root@slave123 ~]#  sysctl -w vm.max_map_count=2000000  --临时有效
[root@slave124 ~]#  sysctl -w vm.max_map_count=2000000  --临时有效
[root@slave125 ~]#  sysctl -w vm.max_map_count=2000000  --临时有效
vim /etc/sysctl.conf  --永久有效,需要重启系统
vm.max_map_count=2000000

hue:(路演时,这步漏了)

yum -y install python2-psycopg2

6.2 添加组件

按服务器规划来配
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

数据库连ambari机器的pg 9.2。
在这里插入图片描述

6.3 hue 数据库

sudo -u postgres psql
CREATE DATABASE hue;
CREATE USER hue WITH PASSWORD ‘hue_123’;
GRANT ALL PRIVILEGES ON DATABASE hue TO hue;
\connect hue;
CREATE SCHEMA hue AUTHORIZATION hue;
ALTER SCHEMA hue OWNER TO hue;
ALTER ROLE hue SET search_path to ‘hue’, ‘public’;

在第一章预告里安装hue会报错,就是这里了

遇到困难:
在这里插入图片描述
漏装 python2-psycopg2。补装再错
在这里插入图片描述

怀疑是不是hue 4.11,不支持 pg 9.2。因为这前用 pg 12/14 没遇过这问题。

多试不行。果断 安装pg14(这早晚都要移出来)

安装pg14去(按规划在master安装)。。+ pgadmin4

也对比了连接库~~(左是 ambari pg 9.2, 右是master pg 14)
在这里插入图片描述
ambari机import psycopg2不正常!!改到master机装hue吧。
在这里插入图片描述

谨慎点,在master 机验证下 import psycopg2 是否正常。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

误操作了:数据库IP还是填192.168.1.120。结果连到9.2去了(过程中,在ambari机补装pg 9.6,又把连接库修改了。才不报错。但还是有问题的。ambari机能装hue也用不了。后续会说原因)
总得来说:应该是ambari机上python2-psycopg2不能正常使用。而master没问题。

好吧。实际与计划总会有偏差。

出于对问题的探索(另开一台机):对装有自带pg 9.2的ambari机安装 python2-psycopg2
yum -y install python2-psycopg2
复现了问题。

在这里插入图片描述
出于对后续pg 9.2迁移pg14考虑。hue还是重装。连到pg14。

这故事有点绕了,要静心听。
总结就是:安装hue前,要确保(2点):
1,安装好库:python2-psycopg2

yum -y install python2-psycopg2

2,库能正常用: import psycopg2
在这里插入图片描述

6.4 整理装hue时要修改的配置(3处)

1,数据库连接
2,doris fe的主机(开头就讲了,这里的hue把doris也管理起来,不改的话,登录进入先见右上角的报错。所以这里一起整理到位)
3,时区
在这里插入图片描述
在这里插入图片描述

6.5 hue配置文件结构层次

Hue是一个开源的Apache Hadoop UI系统,可以管理hadoop生态的各个组件。
对配置文件 :/usr/hdp/3.3.2.0-002/hue/desktop/conf/hue.ini 不算熟悉。
动手分析下结构层次如下:

[desktop]    -- General configuration for core Desktop features (authentication, etc)
  [[django_admins]]
  [[custom]]
  [[auth]]
  [[ldap]]
  [[vcs]]
  [[database]] hue数据库
  [[session]]
  [[smtp]]
  [[knox]]
  [[kerberos]]
  [[oauth]]
  [[oidc]]
  [[metrics]]
  [[slack]]
  [[tracing]]
  [[task_server]]
  [[gc_accounts]]
  [[raz]]
[notebook]    -- Settings to configure the snippets available in the Notebook
  [[interpreters]]
    [[[mysql]]]
    [[[hive]]] 
    [[[impala]]]
    [[[sparksql]]]
[dashboard]
  [[engines]]
[hadoop]    -- Settings to configure your Hadoop cluster.
  [[hdfs_clusters]]
    [[[default]]]
  [[yarn_clusters]]
    [[[default]]]
    [[[ha]]]
[beeswax]  -- Settings to configure Beeswax with Hive
  [[ssl]]
[metastore]    -- Settings to configure Metastore
[impala]    -- Settings to configure Impala
  [[ssl]]
[spark]     -- Settings to configure the Spark application.  
[oozie]    -- Settings to configure the Oozie app
[filebrowser]    -- Settings to configure the Filebrowser app
[pig]    -- Settings to configure Pig
[sqoop]    -- Settings to configure Sqoop2
[proxy]    -- Settings to configure Proxy
[hbase]    -- Settings to configure HBase Browser
[search]
[libsolr]  
[indexer]        
[jobsub]
[jobbrowser]
[security]
[zookeeper]
[useradmin]  
[liboozie]
[aws]
[azure]
[libsentry]
[libzookeeper]
[librdbms]    -- Settings for the RDBMS application
  [[databases]]
[libsaml]
[liboauth]
[kafka]
[metadata]
  [[manager]]
  [[optimizer]]
  [[catalog]]
  [[navigator]]
  [[prometheus]]

6.6 正常进入

在这里插入图片描述

总结:
1,开头用自带pg 9.2是小白场景,图个简单进入。生产中是很少用的。这样编排是为了路演由简单到复杂。推荐是用pg12/14。
2,若本文中提到的复现问题属实,我认为也是有必要把自带pg9.2升到9.6或12或14。(小型数据团队,用内嵌式pg也是能满的,也是一个可行选择,不该被边缘化)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值