0698-6.2.0-Navigator审计日志查看对应用户的操作

最新推荐文章于 2024-07-26 15:16:16 发布
最新推荐文章于 2024-07-26 15:16:16 发布
阅读量818 收藏 1
点赞数
分类专栏： Hadoop实操 文章标签： navigator
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hadoop_SC/article/details/100800622
版权
本文档介绍了Cloudera Navigator的审计功能，通过测试不同用户的HDFS、Hive、Impala、Spark和Hue操作，验证审计日志能否记录数据量信息、文件操作大小、越权访问等。结果显示，虽然能记录操作失败，但无法提供详细信息如文件大小或失败原因。审计日志可导出为CSV或JSON，也可通过API接口查询。
摘要由CSDN通过智能技术生成

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

CDH集群中有数据管理的组件Cloudera Navigator，本文档主要介绍这个组件的其中一个功能：审计，Cloudera Navigator审计可以从选定的集群服务收集一些事件，用户可以在控制台查看这些审计的日志，可以使用可配置的过滤器进行搜索，快速得到相关的信息，并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。

2 测试环境

集群的环境为CDH6.2.0
集群服务器的OS版本为RedHat7.2

1.集群已启用Kerberos
在这里插入图片描述
2.集群已安装Sentry
在这里插入图片描述
3.Hive的用户模拟已关闭
在这里插入图片描述
4.HDFS ACL已开启
在这里插入图片描述

3 创建用户进行操作

1.在OS和Kerberos中创建几个用户用于测试
在这里插入图片描述
2.使用不同的用户访问服务，用于测试审计日志中用户的区分

使用test_hdfs_audit用户操作HDFS

  • 登陆Kerberos
    在这里插入图片描述

  • 上传文件到HDFS
    在这里插入图片描述

  • 查看文件
    在这里插入图片描述

  • 删除文件
    在这里插入图片描述

使用test_hive_audit操作Hive

  • 登陆Kerberos

在这里插入图片描述

  • beeline登陆Hive

在这里插入图片描述

  • 建表

在这里插入图片描述

  • 插入数据

最低0.47元/天 解锁文章
Hadoop_SC
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive2.0+开启审计日志.pdf
07-21
本资源适合hive使用log4j2作为日志去开启metastore审计日志，那么本文章就值得(不管是hive2还是hive3)
Hive开启审计日志
m0_50836167的博客
03-22 3730
CDH5和CDH6开启审计日志的方式有点区别 免费拿走不谢 CDH6.x Hive的版本的2.x，使用的log4j2，开启审计日志如下： appenders=AUDIT appender.AUDIT.type=RollingRandomAccessFile appender.AUDIT.name=AUDIT appender.AUDIT.fileName=${log.dir}/hive_audit.log appender.AUDIT.filePattern=${log.dir}/hive_audit.%
Hive日志介绍
weixin_42795092的博客
06-09 1058
Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>
CDH6 Hive开启审计日志，审查SQL
cn_lynn的专栏
03-14 573
需要对CDH6的hive 执行SQL做记录，单独文件以供审计。CDH没有显性开关来配置，需要通过log4j2日志配置，将org.apache.hadoop.hive.metastore.HiveMetaStore.audit 类输出的审计内容写到独立文件。
hive 查看 job 日志_大数据hive，storm小知识（干货）
weixin_39637260的博客
11-29 734
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。为什么要使用Hive? 1) 从SQL角度，简单、容易上手、使用方便。 2) 从Hadoop角度，可以操作大规模的数据集，可以作为大数据的引擎。 3) 从MetaStore角度:有了这个之后，这些框架...
VMware-converter-en-6.2.0-8466193.zip
06-06
VMware vCenter Converter 可将基于 Windows 和 Linux 的物理机以及第三方映像格式转换为 VMware 虚拟机。...借助集中式管理控制台，用户可对多个同时进行的本地和远程转换（如在总部和分支办公室）进行排队和监控。
VMware-converter-6.2.0-73483980.rar
08-01
VMware-converter-6.2.0-73483980.rar 是一个包含VMware vCenter Converter 6.2.0版本的压缩包文件，其主程序是"VMware-converter-6.2.0-7348398.exe"。该程序提供了全面的迁移功能，能够帮助用户将物理服务器无缝地...
VMware-converter-en-6.2.0-8466193.exe.zip
05-01
在本案例中，提供的压缩包文件"VMware-converter-en-6.2.0-8466193.exe.zip"包含了主要的安装程序文件"VMware-converter-en-6.2.0-8466193.exe"，这正是用户下载并安装VMware Converter的执行文件。 VMware ESXi 是...
VMware-converter-en-6.2.0-8466193
02-26
Converter 是一套可以用來做 P2V（實體轉虛擬） 與 V2V 的軟體（虛擬轉虛擬）。 VMware vCenter Converter 官方下载地址「https://my.vmware.com/web/vmware/evalcenter?p=converter 」 6.1版本手冊：...
gmp-6.2.0.tar.bz2
07-12
gmp-6.2.0.tar.bz2
审计日志导致hiveserver2内存泄露的问题排查解决
06-06 1032
记录一次hiveserver2内存泄露问题排查
Hive 中的日志
热门推荐
东杰书屋
08-04 2万+
日志记录了程序运行的过程，是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ？ 在hive/conf/ hive-lo
Hive 的日志路径查看
weixin_61938673的博客
01-03 1526
修改配置可以在 /etc/hive/conf/下的hive-site.xml配置的hive.querylog.location，修改完毕后重启hive服务。修改配置可以在 /etc/hive/conf/下的hive-env.sh配置的hive.log.dir ，修改完毕后重启hive服务。进入hive shell 窗口，执行以下命令，将显示当前配置的系统日志属性值，默认为/var/log/hive。进入hive shell窗口，执行以下命令，将显示当前配置的属性值，默认为tmp/hive。
CDH6 Hive开启审计日志，审查SQL_hive审计日志，2024年最新一线互联网大厂面试真题系统收录
2401_84159813的博客
04-15 338
论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！AUDIT为新加的appenders, 其它为HIVE本身默认带的，如果没有加上，则出现原来的HMS日志没有输出。cdh->hive->配置，搜索“Hive Metastore Server 日志记录高级配置代码段（安全阀）”2.2 配置hive metastore server 的log4j2。2.1 开启操作日志记录。
日志审计系统_深入理解HiveServer2审计日志_0基础白帽子入门教程
最新发布
程序员六七的博客
07-26 333
HiveServer2审计日志是监控和诊断Hive Server2操作的重要工具。本文将详细解析审计日志的结构和内容，以及如何利用这些信息。
linux系统HIVE查看文件日志巧妙方法
weixin_59544199的博客
03-31 3531
1.先关闭hive 2.双开一个窗口,输入 tail -f hive.log 3.再次打开hive 4.查看日志
Hive 的日志和监控工具
互联网知识分享
08-06 1432
通过设置合适的日志级别，可以控制日志的详细程度和输出量。而监控工具可以提供集中的监控界面，方便管理员进行集群的监控和管理。在实际应用中，可以根据具体需求选择合适的监控工具，并通过配置文件进行相应的设置。可以通过集成各个组件的监控工具，提供一个统一的监控界面，方便管理员进行集群的监控和管理。的稳定运行和及时发现问题，日志和监控工具是必不可少的组成部分。通过设置不同的日志级别，可以控制日志的详细程度和输出量。的日志和监控工具，包括其原理、使用方法和示例代码。的日志级别、查看日志文件，并使用不同的监控工具监控。
vmware-converter-en-6.2.0-8466193
08-17
vmware-converter-en-6.2.0-8466193是VMware Converter的版本号。VMware Converter是一款用于虚拟机迁移和转换的工具。它可以将物理机转换为虚拟机，也可以将虚拟机从一台主机迁移到另一台主机。 该版本的vmware-converter-en-6.2.0-8466193是VMware Converter的第6.2.0版本的英文国际版，并且具有构建编号8466193。这个版本可能是VMware Converter的一个更新或者修复了一些已知的问题。 VMware Converter的功能包括： 1. 物理机转虚拟机：可以将正在运行的物理机转换为虚拟机，使其可以在虚拟化环境中运行。 2. 虚拟机迁移：可以将虚拟机从一台主机迁移到另一台主机，在不停机的情况下实现虚拟机的迁移。 3. 虚拟机转换：可以将不同虚拟化平台上的虚拟机转换为VMware格式的虚拟机，实现虚拟机间的互通性。 这个版本的vmware-converter-en-6.2.0-8466193可能带来了一些新的特性和改进。用户可以根据自己的需求选择是否升级到这个版本。升级时，应该注意备份重要数据并确保与其他相关组件的兼容性。 总之，vmware-converter-en-6.2.0-8466193是一款用于虚拟机迁移和转换的工具VMware Converter的特定版本，它具有一些特定的功能和改进。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值