实时大数据处理性能瓶颈



1、业务数据特性
   1、数据源突然流量增大；
      对于这点，曾见有人将数据缓存到硬盘上，待流量变小时再发出去。我认为这样并不是解决问题的根本办法，因为在流量波峰的情况下，这样的串行IO会使效率更低。我的经验是，使用足够大的内存缓冲，并且提高内存的使用率，一般1Gb流量，有个10MB内存就够用了。

   2、业务处理过程的不均匀；
      业务处理过程不均匀往往是由于架构设计的不够合理造成的，耦合度和串行度过高导致的瓶颈。这种情况下，往往需要修改其架构设计，使用异步方式来解耦，并行方式替代串行方式。

 

2、内存管理
   1、内存的预先分配
      预先分配内存一般是比较好的选择，避免频繁的内存分配和回收；

   2、避免大面积的内存操作
      比如大块内存的开辟或memset，如果必须要做这两种操作，那么将这两种操作均匀地分布在处理过程中。

   3、冗余拷贝
      内存空间与对象紧耦合，每次从buffer或者FIFO出来后都需要拷贝进对象数据段中，这种是不可取的，产生冗余拷贝。偶觉得buffer或者FIFO应该起到一定的缓冲作用，它们与处理过程松耦合，处理完成后缓冲区的指针才可以下移；

   4、避免内存资源竞争
      内存锁机制往往是是数据同步的常用机制，但锁亦会带来很大的时间开销，尤其是长年累月的处理过程&#x