![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 88
风语飘摇
XXXXXXX
展开
-
kudu 文件描述符 更改
kudu 文件描述符超过阀值kudu 文件描述符缺省打开文件数为32768在/etc/security/limits.d/下找到了cloudera的limit配置文件,里面限制为32768/etc/security/limits.d/cloudera-scm.conf修改:32768会覆盖系统配置,cm启动的进程最大打开文件数都是32768.要修改这个配置,需要修改cm...原创 2019-11-26 15:51:37 · 1100 阅读 · 0 评论 -
HUE middleware INFO Processing exception: StandbyException: Operation category RAD is not supported
HUE middleware INFO Processing exception: StandbyException: Operation category RAD is not supported原因是:HDFS高可用(HA)活动节点变了,而HUE HDFS Web url没有变,导致HUE HDFS Web url用的是NameNode节点是standby namenode,所以出现问...原创 2019-11-21 14:23:27 · 190 阅读 · 0 评论 -
Hadoop FS Shell命令大全
阅读目录catchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchz调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用UR原创 2016-03-14 13:23:35 · 389 阅读 · 0 评论 -
YARN安装配置
(一)YARN初步理解yarn结构图如下:1、YARN 下一代的MapReduce系统框架,也称为MRv2(MapReduce version 2), 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。 YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(原创 2016-11-26 10:05:36 · 3584 阅读 · 0 评论 -
Hadoop配置项整理(hdfs-site.xml)
HADOOP: hdfs-stie.xml配置: name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘转载 2016-11-26 14:11:22 · 934 阅读 · 0 评论 -
Caused by: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.Runti
Caused by: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access原创 2016-11-26 14:18:47 · 16711 阅读 · 1 评论 -
Hadoop列式存储引擎Parquet/ORC和snappy压缩
Hadoop列式存储引擎Parquet/ORC和snappy压缩原文 http://www.itweet.cn/2016/03/15/columnar-storage-parquet-and-orc/主题 Parquet Hadoop相对于传统的行式存储格式,列式存储引擎具有更高的压缩比,更少的IO操作而备受青睐。列式存储缺点:在column数很多,每次操作大部分转载 2016-11-26 22:01:39 · 6087 阅读 · 0 评论