![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
qianzhina
这个作者很懒,什么都没留下…
展开
-
kafka磁盘爆满
1,在cm上查询kafka数据目录:log.dirs:/var/local/kafka/data2,查看目录下各子目录占用空间大小情况,过滤上G的topic数据du -sh * | sort -nr | grep 'G' | grep 'channel'3,修改topic数据的的有效期命令,优化kafka-topics --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=864000004..原创 2020-06-28 18:50:17 · 4524 阅读 · 0 评论 -
大数据资源yarn配置
Yarn部署: nn nn dn jn zkfc zk RS NM node001 * * * node002 * * * * * * node003 * * * * * node004 ...原创 2019-07-05 02:54:53 · 286 阅读 · 0 评论 -
spark配置步骤
Spark。 standalone模式。hdfs 1、上传spark包至一个节点 tar xf 解压spark包至安装目录下 2、修改hadoop conf yarn-site.xml <property> <name>yarn.nodemanager.resource....原创 2019-07-05 02:55:33 · 371 阅读 · 0 评论