![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搭建集群
challengedream
这个作者很懒,什么都没留下…
展开
-
cdh6.3.2+kerberos+sentry+hue+hive 库表权限管理
作为个人笔记主要关注两个点1、sentry中的sentry.service.admin.group必定与hue界面添加的用户及用户组名称保持一致;2、在hue上的安全性设置中,role角色中如果添加了server=sentry_server权限,意味着所有db都会有权限。这个权限很好用,如果hue用户没有某个库、表的权限,那就不展示该表、库。很适用生产数据平台。...原创 2020-04-22 16:13:30 · 1112 阅读 · 0 评论 -
HBase 在HDFS 上的目录树
总所周知,HBase是天生就是架设在 HDFS上,在这个分布式文件系统中,HBase是怎么去构建自己的目录树的呢?这里只介绍系统级别的目录树。一、0.94-cdh4.2.1版本系统级别的一级目录如下,用户自定义的均在这个/hbase下的一级子目录下/hbase/-ROOT-/hbase/.META./hbase/.archive/hbase/.corrupt转载 2017-10-30 10:39:02 · 392 阅读 · 0 评论 -
hdp VS cdh 神坑的队列——调度器
前段时间,重建集群,使用的是hdp一套环境。先前都是用的cdh版本,可谓被虐的可以!先来说说调度器!调度器有那么两个大类,一种是排队型的(FIFO Scheduler(这款无需配置)、Capacity Scheduler),一种是插队型的(Fair cheduler)。那么我们作为大数据开发,数据仓库使用者,作为一个文明人,当然必须要让小孩、老人、孕妇插队了。问题来了,找了大半天插...原创 2018-11-28 17:54:58 · 1655 阅读 · 2 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——搭建
主机系统centos7系统安装(5台)安装前准备JDKjdk-8u191-linux-x64.tar.gzscala-2.11.8.tgzClouderaManager安装包cloudera-manager-centos7-cm5.13.3_x86_64.tar.gzCDH相关包CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcelCDH-5.13.3-1...原创 2019-04-12 09:19:54 · 437 阅读 · 0 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——bug解决方案
关于spark2生成部署失败首先我们需要找到此处日志目录,并不是/opt/cloudera-manager/cm-5.13.3/log。针对使用tar.gz包进行离线安装的目录,日志应该在:/opt/cloudera-manager/cm-5.13.3/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloud...原创 2019-04-12 09:29:31 · 338 阅读 · 0 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——hue增加spark交互式
需要准备安装包livy-0.5.0-incubating-bin.tar.gzhue.ini配置[desktop]app_blacklist=[spark]livy_server_host=master.dffl.comlivy_server_port=8998livy_server_session_kind=yarn[notebook]show_notebooks=tr...原创 2019-04-12 09:31:22 · 214 阅读 · 0 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——linux系统安装rz/sz
编译安装root 账号登陆后,依次执行以下命令:cd /tmpwget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20./configure && make && make insta...原创 2019-04-12 09:32:25 · 136 阅读 · 0 评论 -
后来我使用了CM5.13.3spark2kafka3.1.1解决了很多疑难杂症——hue+hive数据库权限
由于数据库用于多个部门,每个人都可以对数据库进行增删改查,需要对数据库的操作进行权限限制。在hue界面创建登录用户hivetest在hive-site.xml的Hive和HiveServer2高级配置中添加配置<property><name>hive.security.authorization.enabled</name><value&...原创 2019-04-12 09:33:49 · 234 阅读 · 0 评论