- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 flume高并发优化——(11)排除json转换及中文乱码
在使用flume收集数据,转换为json格式时,常常遇到特殊符号的问题,而json对于”引号,是非常敏感的,大家处理json数据的时候,要特别注意,在前不久,向es插入数据时,报错就是json转换失败原因: json通用格式: {"key":"value"} {"key":{}} {"key":[]} ["one","two"]
2016-08-19 18:31:04 5410 3
原创 flume高并发优化——(10)消灭elasticsearch sink多次插入
在flume作为通道接收json数据时,最近遇到一个问题,当flume-es-sink遭遇一个错误的时候,会不断尝试插入数据,而以前的数据又没有进行回滚,导致数据重复插入,脏数据累积,为了解决这个问题,现解决如下:原因如下: 1,事务控制在channel端 2,事务回滚,未处理已插入es中数据解决方案: 1,es批量操作不做回滚 2,es插入
2016-08-19 18:14:42 5460 9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人