阿呆的数据经历

作为个人笔记 主要关注两个点 1、sentry中的sentry.service.admin.group必定与hue界面添加的用户及用户组名称保持一致； 2、在hue上的安全性设置中，role角色中如果添加了server=sentry_server权限，意味着所有db都会有权限。 这个权限很好用，如果hue用户没有某个库、表的权限，那就不展示该表、库。很适用生产数据平台。 ...

总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？ 这里只介绍系统级别的目录树。 一、0.94-cdh4.2.1版本 系统级别的一级目录如下，用户自定义的均在这个/hbase下的一级子目录下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt

前段时间，重建集群，使用的是hdp一套环境。先前都是用的cdh版本，可谓被虐的可以！ 先来说说调度器！ 调度器有那么两个大类，一种是排队型的（FIFO Scheduler（这款无需配置）、Capacity Scheduler），一种是插队型的（Fair cheduler）。 那么我们作为大数据开发，数据仓库使用者，作为一个文明人，当然必须要让小孩、老人、孕妇插队了。 问题来了，找了大半天插...

主机系统 centos7系统安装（5台） 安装前准备 JDK jdk-8u191-linux-x64.tar.gz scala-2.11.8.tgz ClouderaManager安装包 cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH相关包 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1...

关于spark2生成部署失败 首先我们需要找到此处日志目录，并不是/opt/cloudera-manager/cm-5.13.3/log。针对使用tar.gz包进行离线安装的目录，日志应该在：/opt/cloudera-manager/cm-5.13.3/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloud...

需要准备 安装包 livy-0.5.0-incubating-bin.tar.gz hue.ini配置 [desktop] app_blacklist= [spark] livy_server_host=master.dffl.com livy_server_port=8998 livy_server_session_kind=yarn [notebook] show_notebooks=tr...

编译安装 root 账号登陆后，依次执行以下命令： cd /tmp wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz tar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20 ./configure && make && make insta...

由于数据库用于多个部门，每个人都可以对数据库进行增删改查，需要对数据库的操作进行权限限制。 在hue界面创建登录用户hivetest 在hive-site.xml的Hive和HiveServer2高级配置中添加配置 <property> <name>hive.security.authorization.enabled</name> <value&...