- 博客(4)
- 收藏
- 关注
RSS订阅原创 记一次Kafka Producer TimeoutException排查
基本需求程序读取HDFS上的日志发送至Kafka集群由于日志量较大 每小时约7亿条+ 采用多线程 多producer实例发送TPS 可达到120W+修改前Producer配置 val props = new Properties() props.put("bootstrap.servers", Config.kafka_server) props.put("key.serializer", "org.apache.kafka.common.serialization.StringS
2020-10-20 15:16:27
1884
原创 Kafka Producer 配置 max.block.ms VS request.timeout.ms
**request.timeout.ms**该配置控制客户端等待请求响应的最长时间。 如果超时之前仍未收到响应，则客户端将在必要时重新发送请求，如果重试次数（retries）已用尽，则会使请求失败。 此值应大于copy.lag.time.max.ms（broker配置），以减少由于不必要的生产者重试而导致消息重复的可能性。max.block.ms配置控制了KafkaProducer.send（）和KafkaProducer.partitionsFor（）的阻塞时间，这些方法可以由于缓冲区已满或元数
2020-09-21 15:57:58
7361
原创 Flink官方 code walkthroughs 踩坑
Flink官方 code walkthroughs 踩坑直接运行项目中的FraudDetectionJob会出现以下错误Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunctionat spendreport.F...
2020-02-29 22:07:15
2474
3
原创 scala 读取Excel 实例
import java.io.{File, FileInputStream}import org.apache.poi.ss.usermodel.CellTypeimport org.apache.poi.xssf.usermodel.XSSFWorkbookobject ExcelReaderScala { def main(args: Array[String]): Unit...
2019-10-14 16:18:21
4310
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人