LizhiQiang

Spark 任务速度变慢，也不失败。DataNode 内存足够 CPU 负载不高 GC 时间也不长。查看 DataNode 日志，发现有些日志出现很多 Netty RPC 超时。

HDFS 透明加密在 Apache 集群上如何配置

最近想用 zsh + ssh 去在远程执行命令。然后遇到了 JAVA_HOME 环境变量无法找到的情况。解决方法：vim /etc/zshenv配置环境变量就可以了。或者加载 你配置环境变量的文件。ssh root@host command 属于 non-interactive + non-login 。放上一篇非常好的文章，虽然只适用于 bash 和 sh 但是对我启发很大。ssh连接远程主机执行脚本的环境变量问题...

zsh 启动 Hadoop 报 JAVA_HOME 找不到？start-dfs.sh 找不到JAVA_HOMEstart-dfs.sh 这个位置开始找不到 JAVA_HOME显示指定 hadoop 的路径。要不然虽然设置了 环境变量，还是找不到。那是因为你使用 zsh 。start-dfs.sh 找不到 JAVA_HOME。 默认是按照 bash 去找的。解决方案：修改 /etc/hadoop/hadoop-env.sh 文件，显示指定 JAVA_HOME 路径。vim hadoop-

Kafka Range RoundRobin 和Sticky 三种 分区分配策略一、Kafka默认分区分配策略1、1 consumer 订阅 1 topic ( 7 partition )按照Kafka默认的消费逻辑设定，一个分区只能被同一个消费组（ConsumerGroup）内的一个消费者消费。假设目前某消费组内只有一个消费者C0，订阅了一个topic，这个topic包含7个分区，也就是说这个消费者C0订阅了7个分区，参考下图。2、2 consumer 订阅 1 topic ( 7 parti

def fun(): String = { "Linger" } def fun2: String = { "skew" } // 函数如果不省略 () 那么调用函数可以使用 函数名() 或 函数名 eg:fun() 或 fun // 函数如果省略 () 那么调用函数时只能用 函数名 eg:fun2 // ① val f = fun _ // f 类型是 () => String // ② val ...