flume拉取日志压测数据分析

DEUBG模式拉取（消耗模式），内存缓存模式，批量100条写入（可调大）
52G日志开始增量到70G  137个log文件 11:29开始
抽样：
63737900条  表数据=29 GB   索引+表数据=39 GB
67338900条  表数据=31 GB   索引+表数据=41 GB
82897700条  表数据=38 GB   索引+表数据=51 GB
111146500条 表数据=51 GB   索引+表数据=68 GB
214329000条 表数据=98 GB   索引+日志=48 GB   共=146G  备份文件70G




消费机(10.0.0.103 16G内存  8核)
top - 15:11:05 up 8 days,  4:18,  6 users,  load average: 7.62, 5.97, 4.10
Tasks: 249 total,   2 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s): 11.1%us,  2.6%sy,  0.0%ni, 52.9%id, 33.4%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  16331528k total, 16151004k used,   180524k free,    36580k buffers
Swap:        0k total,        0k used,        0k free, 10844552k cached
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                       
27464 rui      20   0 5838m 358m  10m S 38.2  2.2   3:54.16 java 


flume使用： CPU 30%-50%    MEM 1.5-2.2%






生产机（10.0.0.101 4核）
Tasks: 160 total,   2 running, 158 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.8%us,  0.5%sy,  0.0%ni, 95.5%id,  0.3%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   8059172k total,  3674868k used,  4384304k free,   125800k buffers
Swap:        0k total,        0k used,        0k free,  2606236k cached


  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                       
27765 rui       20   0 4585m 215m  16m S 13.6  2.7   0:52.38 java  




flume使用（1G）： CPU  13-15%    MEM 1.5-2.7%


pg数据库（有查询） tuples 写入每秒4000-8000 
pg数据库（无查询） tuples 写入每秒6000-10000

transactions事务:每秒60-90

flume默认内存20MB，如果不周大，cpu会很高，调到最大可用1024MB后，cpu使用一下子就降下来了.