![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
mofiXu
大数据开发第二年
展开
-
flume自定义sqlsink写入postgres异常
flume自定义sqlsink写入postgres异常postgres一直报: invalid message format使用java写sqlsink,打印出报错的数据操作行,没有发现格式上有错误,后来用python直接读写oracle到postgres,看到了有异常字符的问题,最后发现是**\u0000** 字符的问题,\u0000是被postgres拒绝的,因为非ASCII unicod...原创 2019-01-16 14:44:10 · 625 阅读 · 0 评论 -
flume修改sqlsource以针对时间戳增量数据传输
flume修改sqlsource以针对时间戳增量数据传输flume github关于增量数据传输的原理,是通过唯一id,递增,每次记录传输的数据量+current_index=last_index,不符合我们此次项目没有增量id的情况。由于数据存在时间戳标志,因此改写flume sqlsource以应对实际需求:每次增量传输先查询数据库中当前最大的时间戳,记录为maxtime查询数据库:...原创 2019-01-16 15:08:21 · 989 阅读 · 1 评论 -
flume+kafka,kafka日志存储暴增,数据重复传输
以下是错误配置agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = sqlSinkagent.sources.kafkaSource1.channels = kafkaChannelagent.sinks.sqlSink.channel = kafkaChannel######source c...原创 2019-01-16 16:21:32 · 1253 阅读 · 0 评论