hadoop
文章平均质量分 61
sujins5288
这个作者很懒,什么都没留下…
展开
-
CDH新集群没有hive创建表权限记录
1.集群装好后在hive创建表时遇到FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission ...原创 2019-11-26 14:54:30 · 553 阅读 · 0 评论 -
Haoop一些调优属性说明
1.缓冲区大小 hadoop使用了一个4KB(4096字节)的缓冲区辅助I/O操作。对于目前硬件来说,这个容量有点偏小,我们可以通过改变core-site.xml文件中io.file.buffer.size属性来设置缓冲区的大小,比如:128KB等。通过增大缓冲区容量能够显著提高性能。2.HDFS块大小 在默认情况下,HDFS块大小是128MB,但我们可以通过把块设的更大...原创 2019-02-27 21:00:35 · 203 阅读 · 0 评论 -
HDFS日志审计及相关HDFS工具介绍及hadoop
HDFS日志审计: HDFS的日志能够记录所以文件系统的访问请求,一般我们用此特性来进行审计。对日志的审计是log4j在info级别实现的。在默认情况是未开启的。我们可通过在hadoop-env.sh中通过:export HDFS_AUDIT_LOGGER="INFO,RFAAUDIT"来开启。每个HDFS事件均在审计日志(hdfs-audit.log)中生成一行日志记录。HDF...原创 2019-02-28 11:25:39 · 1398 阅读 · 0 评论