![](https://img-blog.csdnimg.cn/20200512120729183.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 71
Hadoop 介绍
_lizhiqiang
种一棵树最好的时间是十年前,其次是现在。
展开
-
Hadoop 请求数据长度 Requested Data length 超过配置的最大值
Spark 任务速度变慢,也不失败。DataNode 内存足够 CPU 负载不高 GC 时间也不长。查看 DataNode 日志,发现有些日志出现很多 Netty RPC 超时。原创 2023-10-26 17:40:25 · 1788 阅读 · 0 评论 -
Hadoop 2.10.1 HDFS 透明加密原理 + 实战 + 验证
HDFS 透明加密在 Apache 集群上如何配置原创 2022-09-05 21:59:04 · 2334 阅读 · 0 评论 -
zsh + ssh + 登陆远程主机执行命令无法找到环境变量解决方案。
最近想用 zsh + ssh 去在远程执行命令。然后遇到了 JAVA_HOME 环境变量无法找到的情况。解决方法:vim /etc/zshenv配置环境变量就可以了。或者加载 你配置环境变量的文件。ssh root@host command 属于 non-interactive + non-login 。放上一篇非常好的文章,虽然只适用于 bash 和 sh 但是对我启发很大。ssh连接远程主机执行脚本的环境变量问题...原创 2020-06-13 20:45:44 · 1015 阅读 · 0 评论 -
Centos 7 用 zsh 启动 Hadoop 报 JAVA_HOME 找不到?
zsh 启动 Hadoop 报 JAVA_HOME 找不到?start-dfs.sh 找不到JAVA_HOMEstart-dfs.sh 这个位置开始找不到 JAVA_HOME显示指定 hadoop 的路径。要不然虽然设置了 环境变量,还是找不到。那是因为你使用 zsh 。start-dfs.sh 找不到 JAVA_HOME。 默认是按照 bash 去找的。解决方案:修改 /etc/hadoop/hadoop-env.sh 文件,显示指定 JAVA_HOME 路径。vim hadoop-原创 2020-06-13 01:30:30 · 878 阅读 · 0 评论 -
Kafka Range、RoundRobin、Sticky 三种 分区分配策略区别
Kafka Range RoundRobin 和Sticky 三种 分区分配策略一、Kafka默认分区分配策略1、1 consumer 订阅 1 topic ( 7 partition )按照Kafka默认的消费逻辑设定,一个分区只能被同一个消费组(ConsumerGroup)内的一个消费者消费。假设目前某消费组内只有一个消费者C0,订阅了一个topic,这个topic包含7个分区,也就是说这个消费者C0订阅了7个分区,参考下图。2、2 consumer 订阅 1 topic ( 7 parti原创 2020-05-22 00:43:14 · 6524 阅读 · 7 评论 -
scala 省略参数列表的函数赋值问题
def fun(): String = { "Linger" } def fun2: String = { "skew" } // 函数如果不省略 () 那么调用函数可以使用 函数名() 或 函数名 eg:fun() 或 fun // 函数如果省略 () 那么调用函数时只能用 函数名 eg:fun2 // ① val f = fun _ // f 类型是 () => String // ② val ...原创 2020-05-21 14:09:30 · 453 阅读 · 0 评论