ArYe

如图示，每5分钟，日志清理程序 会根据日志保留策略 来清理符合删除条件的日志。：每个主题分区保留在日志中的数据量，设-1时无限制。创建，则消费者偏移量保存在ZooKeeper中。：点击具有Kafka服务的主机，然后点击组件。：日志保留时长，设-1时无限制，建议3天。创建，则消费者偏移量保存在Kafka中。会把主题以往所有数据都读取出来）建议给4~6G每个Broker。如果不知道CDH装哪，就把。可接收的单个消息的最大值（...

官方图标ClouderaImpala是一款时髦的、开源的、大规模并行处理的SQL引擎为Hadoop提供低延时、高并发的查询分析功能。

cdh的sqoop位置cdh的sqoop目录cdh的sqoop路径cdh的sqoop添加jarcdh的sqoop添加数据库驱动sqoop连haha sap

hive on sparkspark.driver.memoryspark.executor.coresspark.executor.instancesshuffle动态分配

root用户操作HDFS时报错：mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x是因为CDH默认开启了检查HDFS权限解决方法关闭检查HDFS权限可以解决报错，但降低了HDFS的安全性对此的更优解是：把用户添加到supergroup组下面以root用户为例：groupaddNo such file or directory

文章目录概述个人对交换内存的理解交换内存相关操作查看交换内存启用交换内存禁用交换内存CDH隐患解决方案概述CDH上某个服务的警告信息：存在隐患 : 该角色的进程使用的交换内存为xx兆字节。警告阈值:200字节例如：ZooKeeper服务进程使用了交换内存，导致ZooKeeper服务变慢，影响了集群个人对交换内存的理解英文名称：swap space译名：交换空间 or 交换内存释义：swap space是硬盘上的一块空间当系统的物理内存不够时，一些长时间冇操作的程序的内存将被释放.

LZO压缩yum install lzopCDH6.3.2

服务器环境集群规划hostnamehostsWIN10网络映射配置关闭防火墙集群之间SSH免密登录Python版本确认集群分发脚本禁用SELinux模式禁用透明大页配置集群操作脚本（可选）集群时间同步安装httpd服务安装yum源工具

Cloudera ManagerCMCDH

Cloudera Manager和Cloudera Navigator使用的端口点对点包裹分发中使用的端口外部端口内部端口CDH组件使用的外部端口CDH组件使用的内部端口DistCp 使用的端口第三方组件使用的端口

YARN架构图YARN工作机制调度器资源调度器的类最大优先级处理调度器请求的线程数量NodeManager单节点NN可分配的物理内存单节点NN可分配的虚拟核心数单节点预留给非YARN进程的物理内存总量每个容器可分配的最小内存每个容器可分配的最大内存每个容器可分配的最少虚拟核数每个容器可分配的最多虚拟核数自动检测节点资源虚拟核数和物理核数的转换乘数MapReduce每个Map任务的虚拟核心数每个Map任务的内存每个Reduce任务的虚拟核心数每个Reduce任务的内存.