自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 记一次Kafka Producer TimeoutException排查

基本需求程序读取HDFS上的日志发送至Kafka集群由于日志量较大 每小时约7亿条+ 采用多线程 多producer实例发送TPS 可达到120W+修改前Producer配置 val props = new Properties() props.put("bootstrap.servers", Config.kafka_server) props.put("key.serializer", "org.apache.kafka.common.serialization.StringS

2020-10-20 15:16:27 1879

原创 Kafka Producer 配置 max.block.ms VS request.timeout.ms

**request.timeout.ms**该配置控制客户端等待请求响应的最长时间。 如果超时之前仍未收到响应,则客户端将在必要时重新发送请求,如果重试次数(retries)已用尽,则会使请求失败。 此值应大于copy.lag.time.max.ms(broker配置),以减少由于不必要的生产者重试而导致消息重复的可能性。max.block.ms配置控制了KafkaProducer.send()和KafkaProducer.partitionsFor()的阻塞时间,这些方法可以由于缓冲区已满或元数

2020-09-21 15:57:58 7352

原创 Flink官方 code walkthroughs 踩坑

Flink官方 code walkthroughs 踩坑直接运行项目中的FraudDetectionJob会出现以下错误Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunctionat spendreport.F...

2020-02-29 22:07:15 2472 3

原创 scala 读取Excel 实例

import java.io.{File, FileInputStream}import org.apache.poi.ss.usermodel.CellTypeimport org.apache.poi.xssf.usermodel.XSSFWorkbookobject ExcelReaderScala { def main(args: Array[String]): Unit...

2019-10-14 16:18:21 4309

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除