![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
文章平均质量分 87
红黑的米兰
这个作者很懒,什么都没留下…
展开
-
Hadoop streaming总结
Hadoop streaming总结1.简介:Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业,这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。2.工作原理:mapper和reducer都是可执行文件,它们从标准输入读入数据(一行一行读), 并把计算结果发给标准输出。3.原创 2013-09-03 16:01:24 · 3636 阅读 · 0 评论 -
kafka配置中的坑之: replica.fetch.max.bytes
最近在使用kafka的时候发现服务器的网卡经常吃满,使用iftop和dstat看网络流量,发现kafka broker之间有很大流量。如果topic设置了多个replica,那么经常会有replica因为不能同步成功而掉线,最终topic的可用isr只剩下一个。原创 2015-09-21 19:23:33 · 22949 阅读 · 1 评论 -
记kafka partition数据量过大导致不能正确重启
某台kafka服务器负载过高,机器挂掉一段是时间后,kill掉占用内存的进程,然后重启kafka服务,但是一直不能完成启动和数据同步,日志如下fset 0 to broker BrokerEndPoint(11,192.168.207.79,9092)] ) (kafka.server.ReplicaFetcherManager)[2016-04-26 19:16:33,274] INFO [R原创 2016-04-26 21:23:05 · 24320 阅读 · 0 评论