sentry mysql_Apache Sentry安装及简单使用

最新推荐文章于 2023-07-12 18:09:14 发布
最新推荐文章于 2023-07-12 18:09:14 发布
阅读量361 收藏
点赞数
文章标签： sentry mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33726387/article/details/113652353
版权

1 环境描述

三台hadoop集群，分别是master、slave1和slave2。下面是这三台机器的软件分布：

master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer

slave1：DataNode、ZK

slave2：DataNode、ZK

2 软件需求

MySql

mysql-jdbc.jar：mysql-connector-java-5.1.38-bin.jar

Hadoop

Hive1.1.0：apache-hive-1.1.0-bin.tar.gz

Sentry1.6.0：apache-sentry-1.6.0-incubating-bin.tar.gz

注意：这里的Sentry1.6.0版本对应的是Hive1.1.0版本，目前还不支持Hive1.2及以上版本。

3 软件安装

3.1 MySql安装

在线安装：sudo apt-get install mysql-server。

修改文件：vim /etc/mysql/my.cnf，内容如下：

#bind-address = 127.0.0.1

bind-address = 0.0.0.0

重启mysql：service mysql restart

3.2 Hadoop安装

此处省略

3.2 Hive安装

此处省略

创建hive的元数据mysql数据库

create database hive;

CREATE USER hive IDENTIFIED BY 'hive';

GRANT all ON hive.* TO hive@'%' IDENTIFIED BY'hive';

flush privileges;

3.3 Sentry安装

1. 解压安装

tar -zxvf apache-sentry-1.6.0-incubating-bin.tar.gz -C /opt

2. 修改sentry的配置文件(sentry-site.xml)

mv apache-sentry-1.6.0-incubating-bin apache-sentry-1.6.0

cp mysql-connector-java-5.1.38-bin.jar /opt/apache-sentry-1.6.0/lib

cd /opt/apache-sentry-1.6.0/conf

vim sentry-site.xml

3. 修改sentry-sitem.xml文件

sentry.service.admin.group

admin

sentry.service.allow.connect

hive,admin

sentry.service.reporting

JMX

sentry.service.server.rpc-address

192.168.70.110

sentry.service.server.rpc-port

8038

sentry.store.group.mapping

org.apache.sentry.provider.common.HadoopGroupMappingService

sentry.hive.server

server1

sentry.service.web.enable

true

sentry.service.web.port

51000

sentry.service.web.authentication.type

NONE

sentry.service.web.authentication.kerberos.principal

sentry.service.web.authentication.kerberos.keytab

sentry.service.security.mode

none

sentry.service.server.principal

sentry.service.server.keytab

sentry.store.jdbc.url

jdbc:mysql://192.168.70.110:3306/sentry

sentry.store.jdbc.driver

com.mysql.jdbc.Driver

sentry.store.jdbc.user

sentry

sentry.store.jdbc.password

sentry

4. 配置环境变量

编辑vim /etc/profile

export SENTRY_HOME=/opt/apache-sentry-1.6.0

export PATH=${SENTRY_HOME}/bin:$PATH

使生效source /etc/profile

5. 在mysql中创建sentry数据库

create database sentry;

CREATE USER sentry IDENTIFIED BY 'sentry';

GRANT all ON sentry.* TO sentry@'%' IDENTIFIED BY 'sentry';

flush privileges;

6. 将mysql-jdbc的jar包拷贝到sentry/lib目录下

cp mysql-connector-java-5.1.38-bin.jar ${SENTRY_HOME}/lib

7. 替换hadoop中jline的jar包

rm ${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ${SENTRY_HOME}/lib/jline-2.12.jar ${HADOOP_HOME}/share/hadoop/yarn/lib

8. 初始化sentry数据库

sentry --command schema-tool --conffile ${SENTRY_HOME}/conf/sentry-site.xml --dbType mysql --initSchema

9. 启动sentry服务

sentry --command service --conffile ${SENTRY_HOME}/conf/sentry-site.xml

4 Hive集成Sentry

1. 修改hive-site.xml配置文件

hive.sentry.conf.url

file:///opt/apache-hive-1.1.0/conf/sentry-site.xml

hive.stats.collect.scancols

true

hive.metastore.pre.event.listeners

org.apache.sentry.binding.metastore.MetastoreAuthzBinding

hive.metastore.event.listeners

org.apache.sentry.binding.metastore.SentryMetastorePostEventListener

hive.server2.session.hook

org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook

hive.security.authorization.task.factory

org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl

javax.jdo.option.ConnectionURL

jdbc:mysql://192.168.70.110:3306/hive?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive

2. 修改sentry-site.xml配置文件

注意：该文件是在hive/conf目录下的，不要和sentry/conf目录下的sentry-site.xml文件混淆！

sentry.service.client.server.rpc-address

192.168.70.110

sentry.service.client.server.rpc-port

8038

sentry.service.client.server.rpc-connection-timeout

200000

sentry.service.security.mode

none

sentry.service.server.principal

sentry.service.server.keytab

sentry.provider

org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider

sentry.hive.provider.backend

org.apache.sentry.provider.db.SimpleDBProviderBackend

sentry.metastore.service.users

hive

sentry.hive.server

server1

sentry.hive.testing.mode

true

3. 拷贝sentry/lib下的jar包到hive/lib目录下

cp ${SENTRY_HOME}/lib/sentry*.jar ${HIVE_HOME}/lib

cp ${SENTRY_HOME}/lib/shiro-*.jar ${HIVE_HOME}/lib

注意：shiro-*.jar一定也要拷贝过去，否则会报错。

4. 修改Hive在HDFS上的文件权限

hadoop fs -chown -R hive:hive /user/hive/warehouse

hadoop fs -chmod -R 770 /user/hive/warehouse

由于HDFS上文件是hive：hive权限，所以linux用户上能

5. 启动Hive Metastore服务

hive --service metastore -hiveconf hive.root.logger=DEBUG,console

6. 启动Hive Server2服务

hive --service hiveserver2 -hiveconf hive.root.logger=DEBUG,console

5 Hive权限验证

5.1 准备测试数据

创建测试数据文件：vim /tmp/events.csv，内容如下：

10.1.2.3,US,android,createNote

10.200.88.99,FR,windows,updateNote

10.1.2.3,US,android,updateNote

10.200.88.77,FR,ios,createNote

10.1.4.5,US,windows,updateTag

然后，在hive中运行下面sql语句(注意：以hive用户启动hive命令)：

create database sensitive;

create table sensitive.events (ip STRING, country STRING, client STRING, action STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;

create database filtered;

create view filtered.events as select country, client, action from sensitive.events;

create view filtered.events_usonly as select * from filtered.events where country = 'US';

在master上通过 beeline 连接 hiveserver2，运行下面命令创建角色和组：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

在beelin中执行下面的 sql 语句创建 role、group等：

create role admin_role;

GRANT ALL ON SERVER server1 TO ROLE admin_role;

GRANT ROLE admin_role TO GROUP admin;

create role test_role;

GRANT ALL ON DATABASE filtered TO ROLE test_role;

use sensitive;

GRANT SELECT(ip) on TABLE sensitive.events TO ROLE test_role;

GRANT ROLE test_role TO GROUP test;

上面创建了两个角色：

admin_role，具有管理员权限，可以读写所有数据库，并授权给 admin 和 hive 组(对应操作系统上的组)

test_role，只能读写 filtered 数据库，和只能读取sensitive库中events 表中的ip字段，并授权给 test 组。

因为系统上没有test用户和组，所以需要手动创建：useradd test

5.2 测试

5.2.1 测试admin_role角色

使用admin用户访问beelin：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

admin用户属于admin_role组，具有管理员权限，可以查看所有角色：

0: jdbc:hive2://master:10000/> show roles;

+-------------+--+

| role |

+-------------+--+

| admin_role |

| test_role |

+-------------+--+

2 rows selected (0.251 seconds)

查看所有权限：

0: jdbc:hive2://master:10000/> show grant role admin_role;

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| * | | | | admin_role | ROLE | * | false | 1461507543582000 | -- |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

1 row selected (0.111 seconds)

0: jdbc:hive2://master:10000/> show grant role test_role;

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| sensitive | events | | ip | test_role | ROLE | select | false | 1461558337008000 | -- |

| filtered | | | | test_role | ROLE | * | false | 1461557354579000 | -- |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

2 rows selected (0.111 seconds)

hive用户可以查看所有数据库、访问所有表：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

3 rows selected (0.142 seconds)

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.144 seconds)

0: jdbc:hive2://master:10000/> select * from filtered.events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.458 seconds)

0: jdbc:hive2://master:10000/> select * from sensitive.events;

+---------------+-----------------+----------------+----------------+--+

| events.ip | events.country | events.client | events.action |

+---------------+-----------------+----------------+----------------+--+

| 10.1.2.3 | US | android | createNote |

| 10.200.88.99 | FR | windows | updateNote |

| 10.1.2.3 | US | android | updateNote |

| 10.200.88.77 | FR | ios | createNote |

| 10.1.4.5 | US | windows | updateTag |

+---------------+-----------------+----------------+----------------+--+

5 rows selected (0.731 seconds)

5.2.2 测试test_role角色

使用test用户访问beeline：

beeline -u "jdbc:hive2://master:10000/" -n test -p test -d org.apache.hive.jdbc.HiveDriver

test用户不是管理员，是不能查看所有角色的：

0: jdbc:hive2://master:10000/> show roles;

ERROR : Error processing Sentry command: Access denied to test.Please grant admin privilege to test.

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.SentryGrantRevokeTask. SentryAccessDeniedException: Access denied to test (state=08S01,code=1)

test用户可以列出所有数据库：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name |

+----------------+--+

| default |

| filtered |

| sensitive |

+----------------+--+

test用户可以filtered库：

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.256 seconds)

0: jdbc:hive2://master:10000/> select * from events;

+-----------------+----------------+----------------+--+

| events.country | events.client | events.action |

+-----------------+----------------+----------------+--+

| US | android | createNote |

| FR | windows | updateNote |

| US | android | updateNote |

| FR | ios | createNote |

| US | windows | updateTag |

+-----------------+----------------+----------------+--+

5 rows selected (0.199 seconds)

test用户只能查看sensitive库中events表中的ip字段，其他的都都无法查看：

0: jdbc:hive2://master:10000/> use sensitive;

No rows affected (0.112 seconds)

0: jdbc:hive2://master:10000/> select * from events;

Error: Error while compiling statement: FAILED: SemanticException No valid privileges

User test does not have privileges for QUERY (state=42000,code=40000)

0: jdbc:hive2://master:10000/> select ip from events;

+---------------+--+

| ip |

+---------------+--+

| 10.1.2.3 |

| 10.200.88.99 |

| 10.1.2.3 |

| 10.200.88.77 |

| 10.1.4.5 |

+---------------+--+

5 rows selected (0.176 seconds)

何江海真丑
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sentry元数据mysql_数据仓库权限管理 - Sentry
weixin_34580002的博客
02-11 783
常用命令1)创建Rolecreate role role_name;2)为role赋予privilegeGRANT select ON DATABASE ods to role role_name;GRANT all ON TABLE TEST to role role_name;3)将role授予用户组GRANT ROLE role_name TO GROUP user_group_name;4...
python方式部署sentry
自由自在的飞翔的专栏
01-12 6488
python方式部署sentry 1.sentry介绍 Sentry是一个开源的实时错误收集报告工具，支持web前后端、移动应用以及游戏等，支持Python、JavaScript、Java、Go、Nodejs、Django、PHP等主流编程语言和框架平台，还提供了对GitHub、Gitlab等常见开发工具的集成及Mail邮件通知（收集到的错误告警），除此之外我们还可以自主开发插件以满足项目需求。 ...
Sentry 监控部署与使用（详细流程）
最新发布
卡尔特斯
07-12 4240
Sentry是一个开源的实时错误监控的项目，它支持很多端的配置，包括web 前端服务器端移动端游戏端。基于Django构建的现代化的实时事件日志监控、记录和聚合平台，主要用于如何快速的发现故障。更快地解决错误和性能问题，并从前端到后端不断了解他们的应用程序运行状况。支持各种语言，例如pythonocjavanodejavascript等。也可以应用到各种不同的框架上面，如前端框架中的vueangularreact等最流行的前端框架。提供了githubslacktrello等常见开发工具的集成。
hive集成sentry
weixin_34191734的博客
05-08 458
1、安装配置sentry 详细步骤见上一篇安装配置sentry 2、配置hive 2.1 Hive-server2集成Sentry 在 /etc/hive/conf/hive-site.xml中添加： <property> <name>hive.security.authorization.task.factory</name> <value&...
Apache Sentry架构介绍
weixin_33709364的博客
04-08 1002
介绍 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase。 特性...
Sentry8_Setup安装前必读
04-25
Sentry8_Setup.exe 安装前必读 争取点分数下载东西
CDH5.15启用kerberos+Sentry手册_v1.0.docx
04-10
在centos6.5环境下CDH5.15启用kerberos+Sentry手册，包含kafka-manager配置kerberos连接，相当完整，值得学习。
sentry-cli：与Sentry一起使用的命令行实用程序
01-30
现在，如果您不使用fastlane工具，这主要用于将调试符号上载到Sentry。 下载可在下找到 文档可以在找到 安装 推荐的安装方式是使用大家最喜欢的curl进行打击： curl -sL https://sentry.io/get-cli/ | bash 节点 ...
apache-sentry-2.1.0-src.tar.gz
07-15
apache-sentry-2.1.0-src.tar.gz sentry2.1.0 源码包，自取啦啦啦，配合CDH6.3.2使用
Sentry_Setup
09-27
Sentry_Setup
Sentry 开发者贡献指南 - 数据库迁移
o__cc的博客
01-18 395
Django 迁移是我们处理 Sentry 中数据库更改的方式。 Django 迁移官方文档：https://docs.djangoproject.com/en/2.2/topics/migrations/。 这些将涵盖了解迁移正在执行的操作所需的大部分内容。 命令 请注意，对于所有这些命令，如果在 getsentry 存储库中，您可以将 getsentry 替换为 sentry。 将您的数据...
sentry mysql_安装配置apache sentry服务
weixin_35639230的博客
02-11 347
环境系统环境：Centos6.7Hadoop版本：CDH5.10jdk版本：jdk7注：本文并未集成kerberos组件安装Sentry Server选择安装hive的节点进行安装测试：yum install sentry* -y以下三个组件会进行安装sentry：sentry的基本包sentry-hdfs-plugin：hdfs插件sentry-store：sentry store组件配置配置s...
cdh hive配置mysql,hive记录-cdh配置hive和sentry
weixin_42509196的博客
03-12 353
1.cdh添加组件-sentry-选择主机-配置数据库2.配置数据库1)mysql -uroot -pDEFAULT CHARSET utf8 COLLATE utf8_general_ci;3) grant all privileges on sentry.* to root@‘%‘ identified by ‘123‘ with grant option;选择mysql数据库主机、用户名、密...
0031-如何在CDH启用Kerberos的情况下安装及使用Sentry(一)
Hadoop_SC的博客
11-21 443
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。 内容概述 1.如何安装Sentry服务 2.Hive/Impala/Hue/HDFS服务如何与Sentry集成 3.Sentry测试 测试环境 1.操作系统为CentOS6.5 2.CM和CDH版本为5.11.1 3.采...
sentry mysql_关于Sentry（转）
weixin_39924573的博客
02-11 291
1.4 Sentry性能有些人担心Sentry会影响程序性能，所以我搭建了一个Sentry服务器做了下测试。我一共使用了两台机器(机器是HP ProLLiant DL360 G4p)作为服务器， 一台安装了Sentry和Mysql, 一台安装了memcache和redis, 然后在sentry.conf.py里将QUEUE和CACHE都打开。使用supervisor启了三个服务sentry sta...
Apache Sentry
多头注意力探索Now
05-09 472
hdfs data access control
sentry连接mysql不稳定_sentry的安装和使用以及各种问题处理
weixin_33750664的博客
01-27 464
需要先安装docker 1.10版本以上假设你已经安装完docker，那么接下来安装docker-composesudo yum install epel-releasesudo yum install-y python-pipsudo pip install docker-compose安装gitsudo yum install git制作本地数据库和sentry的目录配置，用来绑定挂载sudo...
hive 集成sentry
帆了个帆的专栏
10-30 5037
环境 apache-hive-2.3.3-bin apache-sentry-2.1.0-bin sentry是目前最新的版本，支持hive的最高版本为2.3.3，hive版本如果高于2.3.3，会出一些版本兼容问题[亲测] hive快速安装 wget http://mirrors.shu.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.t...
python监控错误语句_Sentry错误日志监控使用方法解析
weixin_39618121的博客
12-22 354
无论作为新手还是老手程序员在程序的开发过程中，代码运行时难免会抛出异常，而且项目在部署到测试、生产环境后，我们便不可能像在开发时那样容易的及时发现处理错误了。一般我们都是在错误发生一段时间后，错误信息才会传递到开发人员那里，然后一顿操作查看程序运行的日志，就熟练使用awk和grep去分析日志，但是往往我们会因为日志中缺少上下文关系，导致很难分析真正的错误是什么。Sentry由此应运而生成为了解决这...
java sentry使用教程_基于Sentry实现数据访问权限控制
05-31
Java Sentry是一个用于数据访问权限控制的Java库，它基于Apache Sentry项目，可以在Hadoop、Hive等大数据组件中实现细粒度的数据权限控制。以下是Java Sentry的使用教程： 1. 安装Sentry服务器：首先需要安装Sentry...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值