flink
CarbonDioxide12138
我什么都不知道,要学的东西太多了
展开
-
flink metric对接openTSDB
目录背景方案代码openTSDBReporteropenTSDBentityhttpClient背景 Flink 任务有着丰富监控指标,但是Flink原生(1.10)支持的Reporter只有JMXReporter、GraphiteReporter、InfluxdbReporter、PrometheusReporter、StatsDReporter、DatadogHttpReporter、Slf4jReporter这些Reporter,但是我们公司的监控系统原创 2020-08-03 20:50:01 · 1163 阅读 · 1 评论 -
Flink kafka connector之反序列化方法解析和应用场景
目录KeyedDeserializationSchema 解析从kafka直接读出JSON获取kafka message的元信息消费到指定位置自动停止KeyedDeserializationSchema 解析 KeyedDeserializationSchema是flink-kafka-connector(1.7)的一个重要的类,它的作用是将kafka的消息进行反序列化,我们最常用的新建FlinkKafkaConsumer中的SimpleStringSche原创 2020-07-21 22:47:18 · 1500 阅读 · 0 评论 -
Flink 修改BucketingSink解决小文件的问题
Flink 修改BucketingSink解决小文件的问题0、背景1、BucketingSink 解析2、修改0、背景 用flink往hdfs写文件的时候,我们一般会用到HDFS Connector 。其实flink里提供了两种HDFS Connector,一个是Bucketing File Sink,另一个是Streaming File Sink。因为我们使用的Hadoop是2.6.5的,对StreamFileSink的支持不太好,所以在我们构建我们的基原创 2020-07-20 21:36:00 · 2659 阅读 · 0 评论 -
flink-kafka-connector之FlinkKafkaConsumer011解析
目录flink kafka connector 调用关系 在使用flink kafka connector的时候,一般都直接像下面这样直接拷贝模板就拿来用了:Properties properties = new Properties();properties.setProperty("bootstrap.servers", "localhost:9092");properties.setProperty("group.id", "test");env原创 2020-07-12 12:23:03 · 7370 阅读 · 0 评论