- 博客(17)
- 收藏
- 关注
RSS订阅原创 APACHE RANGER 调研----6.自定义RestApi 操作ranger 数据库
通过spring boot mybatis 来实现restapi1. 创建用户 x_user 中添加一个用户2. 更新用户信息 更新x_user 的信息3. 删除用户 查询该用户的policy 信息 和policy_item_user_perm 信息 如果存在，删除policy_item_user_perm
2016-12-24 16:57:49
3853
2
原创 APACHE RANGER 调研----5.ranger 原理解析
1.hive 授权流程 (1) 管理员设置策略以及用户(例如一个用户对一个hive数据库相关的权限） --->(2) 用户通过 jdbc beeline 去请求HiveServe2 --->(3)hive 权限check， 请求ranger api 获取策略是否已经更新，更新了就利用新的策略，如果没有更新利用本地缓存数据， plugin 会30 秒访问ranger
2016-12-24 16:54:31
5313
1
原创 APACHE RANGER 调研----4 .ranger rest api 分析
1.官方文档官方针对Service Definition APIs Service APIs Policy APIs 提供专门的api， 对应ranger 源码中的PublicAPIsv2 4 .ranger rest api 分析 > image2016-12-8 19:21:13.png" height="250" src="h
2016-12-24 16:51:51
9646
3
原创 APACHE RANGER 调研----3.ranger hive 测试
1.创建linux 用户 和 ranger 用户 和 hdfs 用户 同 ranger hdfs 测试2. bfd_hz用户beeline 登录 和 hive客户端访问 3.ranger hive 测试 > image2016-12-5 17:27:15.png" src="http://wiki.baifendian.com/download/attachm
2016-12-24 16:50:11
5160
1
原创 APACHE RANGER 调研----2.ranger hdfs 测试
1.创建linux 用户 和 组 2.ranger hdfs 测试 > image2016-12-5 16:33:13.png" src="http://wiki.baifendian.com/download/attachments/13512082/image2016-12-5%2016%3A33%3A13.png?version=1&modificationDate=14809267
2016-12-24 16:47:12
4319
原创 APACHE RANGER 调研----1.基础介绍和安装
1. 基本介绍(1) 目前形势: 目前已有的流行的统一授权管理的开源框架为Ranger和Sentry。 前者由hortonworks主推(可以支持hive的列级授权，支持审计Audit） 后者由Cloudera开发，可能更有后劲。另外Cloudera在酝酿一个安全平台， 目前只能通过视图来控制列权限。(2) rang
2016-12-24 16:39:56
4270
2
原创 Beeline 执行流程
1.启动脚本$HIVE_HOME/bin/beeline -u jdbc:hive2://192.168.116.143:10000 -n bfd_hz -p 12345 --> $HIVE_HOME/bin/ ext/beeline.sh 可以看到入口类org.apache.hive.beeline.BeeLine2 入口类 (1) BeeLine beeLine =
2016-12-24 16:23:30
5748
原创 Hive CLI执行流程分析
说明: 本文基于apache hive1.1.01.启动脚本: $HIVE_HOME/bin/hive --> $HIVE_HOME/bin/ ext/cli.sh 可以看到入口类org.apache.hadoop.hive.cli.CliDriver2.入口类: apache-hive-1.1.0-src/cli/src/java/org/apache/ha
2016-12-24 16:22:08
2893
原创 HiveServer2 源码分析
1.启动脚本 $HIVE_HOME/bin/hive --service hiveserver2 --> $HIVE_HOME/bin/ ext/hiveserver2.sh --> 可以看到入口类和 org.apache.hive.service.server.HiveServer22.简要介绍HiveServer2 主要包括cliServer 和 thriftCLI
2016-12-24 16:19:42
3546
原创 Hive MetaStore 源码分析
1.启动脚本 $HIVE_HOME/bin/hive --service hivemetastore --> $HIVE_HOME/bin/ ext/metastore.sh --> 可以看到入口类org.apache.hadoop.hive.metastore.HiveMetaStore2.入口类(1) cli.parse 解析参数(2) LogUtils.i
2016-12-24 16:13:14
2081
原创 基于sql标准权限验证 修改添加自己的权限验证
由于sql 的权限认证可能不能满足自己的需求，修改来满足自己需求添加自己的FACTORYpackage com.bfd.dw.plugin.hive.security;import org.apache.hadoop.hive.conf.HiveConf;import org.apache.hadoop.hive.ql.security.HiveAuthenticationP
2016-12-24 15:47:13
2696
1
原创 基于元数据和sql标准权限验证的不足点
基于元数据和sql标准权限验证问题1：show database show tables 没有进行控制问题2：load 数据 和创建表制定location 的时候必须是自己用户对应的数据，如果本地数据linux 用户 和hdfs 数据用户 不是自己没有权限问题3： 创建函数必须是要admin 用户具体分析：SQLStdHiveAuthorizationValidator
2016-12-24 15:34:29
650
原创 HIVE 身份验证
简介hive 默认情况下访问hiveserver2 是不需要身份验证的。hive用户登录身份验证方式默认是NONE具有 KERBEROS LDAP PAM NOSASL CUSTOM 五中验证hive-0.14 对应代码处: org.apache.hive.service.auth.HiveAuthFactory本文主要针对CUSTOM 方式(方
2016-12-24 15:28:35
3756
原创 hive基础架构
Hive Structure Metastore 服务和存储的方式1.内嵌模式2.本地模式3.远程模式建议采取远程模式，这样的模式可以将数据库层完全置于防火墙后，客户就不再需要用户名和密码登录数据库，避免了认证信息的泄漏。配置信息 hive 1.1.0 服务端配置：
2016-12-23 21:16:21
477
原创 基于元数据和sql标准权限验证
简介: 用例： (1) hive做为table的存储层，spark sql,mapreduce, Presto 等等通过 Hive's HCatalog API 访问元数据信息， 进而访问hdfs数据， 此时要对hdfs访问做权限控制(hdfs 默认已经处理)，元数据访问需要做权限控制。
2016-12-23 21:13:26
3638
1
原创 Hive 权限
一. 简要介绍1.Storage Based Authorization in the Metastore Server2.SQL Standards Based Authorization in HiveServer23.Default Hive Authorization (Legacy Mode) 二.版本通过hive.securi
2016-12-23 21:04:23
567
原创 hdfs 权限管理和acl机制
简介Hadoop从2.4.0版本开始支持hdfs的ACLACL(Access Control Lists)基本命令操作：hdfs dfs -getfacl [-R] 获取目录和文件的ACL 信息hdfs dfs -setfacl [-R] [-b |-k -m |-x ] |[--set ] 设置文件和目录的ACL信息hdfs dfs -l
2016-12-23 21:03:09
1993
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人