寒夜

从数据仓库的分层，可以看出数据的不同用途主要参考了这里

一、hive权限变更缓慢1、背景说明2、问题分析3、解决方式二、sentry同步hive权限缓慢1、背景说明2、问题分析三、sentry所用mysql字符集问题1、背景说明2、问题说明3、解决办法四、客户端下发问题1、背景说明2、问题说明3、解决办法五、yarn资源池配置1、背景说明2、问题说明3、解决办法六、sentry uri授权问题1、问题说明2、问题说明3、解决办法七、beeline启用sentry后，无法使用add file xxx 和add jar

一、背景介绍hadoop1集群NameNode(NN)开启了高可用，方式为基于QJM，但最近出现频繁切换，导致一些连接方式为ip：port的服务出现异常。二、问题定位NN高可用原理简介 NN的高可用通过单独的进程实现：ZKFailoverController。 该进程运行在每一个NN上，对NN进行状态监测，当监测到NN状态异常时，借助ZooKeeper实现NN的主备切换。 Active/Standby NN 所在机器上的ZKFC进程都会尝试创建/hadoop-ha/${dfs.nam

文章目录提交任务spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 600M --executor-memory 500M --num-executors 1 /usr/local/spark/examples/jars/spark-examples_2.11-2.3.0.jar 3console报错2020-08-11

文章目录1.简述2. 安装过程1. mysql准备2. 安装hive1. 下载hive-1.1.02. 配置环境变量3. 创建hive-site.xml并配置4. 初始化数据库今天在hadoop2.6.0的集群上安装了hive-1.1.0，感觉hive就是一个驱动层，只是连了连数据库，连了连hadoop1.简述整个安装步骤主要分为三步myslq准备安装hive本次安装的操作系统环境为centos6.8hadoop版本为2.6.0hive版本为1.1.02. 安装过程1. mysql准

文章目录1.简述2. 安装步骤1. linux环境准备1.基础环境规划2. host配置和主机名（四台）3. 安装jdk2. linux免密登录配置1. 关闭四台服务器的防火墙和SELINUX2. 免密码登录1. 保证本机能够免密登录本机2. 设置机器之间的免密登录3. hadoop 安装1. master上 解压缩安装包及创建基本目录2. 配置master的hadoop环境变量2. 配置相关配置文件内容3.配置slave的hadoop环境4.启动集群5. 使用浏览器查看集群情况3. 补充1.简述整个

文章目录1. 环境背景1. 公司的大数据平台是基于CDH搭建的2. 使用了kerberos 作为权限管理2. 安装方式1. 在其他centos服务器上的安装测试1. 安装配置kerberos2. 安装client包2. 在mac上安装hadooop2 client1. 安装配置kerberos2. 安装hadoop client3. 噩梦开始4. 增加debug功能5. 原来mac和centos的tiket存储的位置不一样6. 原来还有加密问题1. 环境背景1. 公司的大数据平台是基于CDH搭建的Ha