![](https://img-blog.csdnimg.cn/2021032522111625.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 70
kafka
奈何@
Instead of admitting that the truth of "let it be" is to readily accept any kind of outcome after making full efforts rather than to do nothing at the every beginning. We would rather take "Let it be" as an excuse to evade the path of throns in our life.
展开
-
kafka server 参数配置
参数说明broker.id =0#每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/mnt/kafka/log#kafka数据的存放地址,多个地址的话用逗号分割。listeners=PLAINTEXT://192.100.36.247:9092#监听地址port =9092#broker server服务端口message.max.byte...原创 2021-04-26 18:29:13 · 478 阅读 · 0 评论 -
kafka系列(6)- 序列化器
在上一节的例子中,我们看到,创建一个生产者对象必须指定序列化器,我们已经知道如何使用默认的,kafka还提供了整形和字节数组序列化器,不过还不足以满足大部分的场景,我们下面讲解一下如何开发自己的序列化器1、自定义序列化器如果发送到kafka的数据不是简单的字符串或者数值类型,那么可以使用序列化框架来创建消息记录,如Avro、Thrift、Protobuf,或者使用自定义序列化器。还是建议用通用的框架,但是为了了解原理,就来看看如何定义序列化器1)创建一个类package cn.haojia.xuli原创 2021-03-30 16:35:34 · 308 阅读 · 0 评论 -
filebeat-kafka-logstash-elastic
1、filebeat取数据发送到kafka使用日志输入从日志文件中读取行。要配置此输入,请指定一个基于全局的路径列表,必须爬行这些路径才能定位和获取日志行。filebeat.inputs:// 发送到 topic1- type: log paths: - /var/log/system.log - /var/log/wifi.log fields: log_topic: topic1// 发送到 topic2- type: log paths:原创 2021-03-30 14:43:37 · 453 阅读 · 0 评论 -
kafka系列(5)- api操作
1、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml<dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apache.kafka</groupId> <artifactId&g...原创 2021-03-29 15:30:09 · 264 阅读 · 0 评论 -
kafka系列(4)- kafka集群操作
文末有大量学习资源哦,免费领取。如果觉得内容不错,别忘记一键三连哦!!!目录1、创建topic2、查看主题命令3、生产者生产数据4、消费者消费数据5、运行describe topics命令6、增加topic分区数7、增加配置8、删除配置9、删除topic1、创建topic创建一个名字为test的主题, 有三个分区,有两个副本bin/kafka-topics.sh --create --zookeeper node01:2181 --replica..原创 2021-03-29 14:51:30 · 403 阅读 · 0 评论 -
kafka系列(3)- kafka的安装
码字不易,先赞后看,文末有大量学习资源哦,免费领取。如果觉得内容不错,别忘记一键三连哦!!!给大家准备的各类书籍都在这里啦,收集不易,期待您的一键三连,后续还会更新文章哦,谢谢您的关注和点赞,您的点赞会让我有加倍动力链接:https://pan.baidu.com/s/1MH1eiwMv_XCCbFX3hwGu7g提取码:70uyhttps://shimo.im/docs/863dvkxgWHtwcWkh/ 《书籍》...原创 2021-03-29 14:04:45 · 335 阅读 · 0 评论 -
kafka系列(2)- 架构介绍和主要组件说明
码字不易,先赞后看,文末有大量学习资源哦,免费领取。如果内容觉得不错,别忘记一键三连哦!!!给大家准备的各类书籍都在这里啦,收集不易,期待您的一键三连,后续还会更新文章哦,谢谢您的关注和点赞,您的点赞会让我有加倍动力链接:https://pan.baidu.com/s/1MH1eiwMv_XCCbFX3hwGu7g提取码:70uyhttps://shimo.im/docs/863dvkxgWHtwcWkh/ 《书籍》...原创 2021-03-25 22:08:00 · 192 阅读 · 1 评论 -
kafka系列(1)- 消息队列介绍以及应用场景
最近,博主想把自己学到的东西给大家慢慢的分享一下,好久就想这么做了,一直没有时间去弄,今天开始,要把自己的所学带给大家,希望大家喜欢大数据,如果内容觉得不错,别忘记一键三连哦!!!...原创 2021-03-24 11:03:59 · 614 阅读 · 2 评论