- 博客(3)
- 收藏
- 关注
RSS订阅原创 0.3 Flink--Kafka2Es之写入Es
前期成功将数据以json形式从kafka中读取出来，此片文档记录数据根据需求录入Es。需求： index名字： YYYYMMDD-http,YYYYMMDD-dns 其中索引根据数据中的recv_time、log_type字段确定思路flink类似Flume，数据处理由Source、Sink作为输入输出，因此Es逻辑在自定义的EsSink中实现即可。参考网页： https://ci.a...
2018-07-24 11:32:36
3046
2
原创 0.2 Flink--Kafka2Es之kakfa数据自定义Schema类，打包上传到本地flink单机运行
文档https://mp.csdn.net/postedit/81179811 记录简单读取kakfa数据，因公司业务数据为特定格式数据，因此需要自定义schema类读取，也就是截取前4个字节获取schemaId，然后根据schemaId读取schema定义的字符串，进而还原存储在topic中的网络日志数据。直接代码：从zk中读取所有的schema配置package com.matthe...
2018-07-24 11:20:46
2771
1
原创 0.1 Flink--Kafka2Es之读取kakfa数据
注：本人初次接触Flink，其优点以及优化细节有待后续研究，直接上手业务。简单业务逻辑： 将kafka多个topic数据由Flink读取写入到Es不同index中。1.其中topic中数据使用自定义avro格式压缩,前4个字节为数据schemaID，后续数据字节为具体avro格式的二进制数据2.schema定义以文件形式存储在zookeeper中，文件名为schemaId。3.to...
2018-07-24 10:55:25
1367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人