![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 85
aiSniff
这个作者很懒,什么都没留下…
展开
-
探寻hdfs-audit log -1
最近集群压力较大,为了缓解集群压力,开始分析hdfs-audit log。对于hdfs-audit 审计日志,我们先看一些常用命令;cmd 命令解释:getfileinfomkdirssetAcl -- checkOperation(OperationCategory.WRITE);getAclStatus -- checkOperation(OperationCategor...原创 2019-02-22 23:28:24 · 1871 阅读 · 0 评论 -
探寻hdfs-audit log -2
从SQL层面上分析:insert 操作:2019-02-18 18:14:35,396 INFO FSNamesystem.audit: allowed=true ugi=hive (auth:SIMPLE) ip=/ip.151 cmd=delete src=/user/hive/.staging/job_1544610861281_0006 d...原创 2019-02-22 23:51:07 · 829 阅读 · 0 评论 -
hive 压缩格式汇总
今天,看了几篇hive压缩格式相关的博客觉得不错,在这里做一下提取要点汇总。0 前言数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce,所以应该使用低cpu开销和高压缩效率,一般最好使用sn...原创 2019-03-01 16:31:32 · 3174 阅读 · 0 评论