cglThk的专栏

1.异地机房的情况压力主要在传输（1）控制应用在一个机房（2）增大batch的size和轮询时间， 一次传输更多的内容（3）压缩内容

普通部署192.168.16.8, 192.168.16.9,192.168.16.10为例一．Zookeeper1.下载zookeeper下载地址http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 2.解压到/home/hadoop/tar -zxvfzookeeper-3.4.6.tar.gz

1.报zookeeper NoNode for /brokers/topics/topic_test/partitions，就是说DynamicBrokersReader.getNumPartitions()里面，topicBrokersPath这个路径在zookeeper里面找不到，topicBrokersPath = _zkPath + "/topics/" + _topic +

[hadoop@node3 jstorm-logs]$ jstorm jar /home/hadoop/work/topology-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.chinamobile.jstrom.topology.BusinessBillTopology /data/MM_CDR /home/hadoop/sftp/60805/res

问题[WARN  2014-12-29 20:40:52 KafkaUtils:185 ASpout:3-MultipleThreadSpoutExecutors] Got fetch request with offset out of range: [232]; retrying with default start offset time from configuration. conf

细分spout/bolt。使其更贴近分布式，对不同的component灵活分配资源。对于grouping，尽量采用localgrouping，减少网络传输。localgrouping可以实现数据尽量在进程内传输，降低网络带来的开销。spout端优化，假如在topology中，处理瓶颈在spout端，而且你又不能增加spout的数量，可以试试修改spoutWaitStrate

1.处理的日志前后有依赖的话，在分布式系统中，容易导致数据的不一致例：分钟级别的日志文件，要输出小时级别的统计结果的话，spout->calBolt->outputBolt在calBolt处理时间不一样，导致到outputBolt的顺序和spout有不一样的，就会发生错序的问题2.选用的netty同步通信机制，有可能java NIO 不同进程会发生通信死锁会在fail之

1.IBasicBolt Vs IRichBoltIBasicBolt 中对应的BasicOutputCollector implement IBasicOutputCollector，接口没对外提供ack,fail，在BasicOutputCollector 的emit的时候，会自动有to anchor的tuple。IRichBolt中对应的OutputCollector imple