![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
宝罗
这个作者很懒,什么都没留下…
展开
-
kafka参数优化
(1)Broker参数配置(server.properties)1.网络和io操作线程配置优化# broker处理消息的最大线程数(默认为3)num.network.threads=cpu核数+1# broker处理磁盘IO的线程数num.io.threads=cpu核数*22、log数据文件刷盘策略# 每当producer写入10000条消息时,刷数据到磁盘log.flush.interval.messages=10000# 每间隔1秒钟时间,刷数据到磁盘lo原创 2022-02-07 19:10:42 · 409 阅读 · 0 评论 -
kafka实现读文件到hbase 并且实现hbase到hive上的映射
首先还是构建一个父类特质方法package kafkatohbaseimport org.apache.hadoop.hbase.client.Putimport org.apache.kafka.clients.consumer.{ConsumerRecord, ConsumerRecords}trait DataHandler { def transform(topic:String,records:ConsumerRecords[String,String]):Array[Put]原创 2021-11-12 00:13:26 · 2316 阅读 · 0 评论 -
flume读取文件到kafka
1.进入flume官网 www.org.apache.flume.com点击第三个2.使用kafka前需要先开启zookeeper3.编写配置文件读文件首先最好去头 写好配置文件user.channels = c1user.sources = s1user.sinks = k1user.sources.s1.type = spooldiruser.sources.s1.spoolDir = /opt/mydate/users/user.sources.s1....原创 2021-11-10 01:08:12 · 1789 阅读 · 0 评论