![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka专栏
文章平均质量分 96
介绍kafka相关内容
一瓢一瓢的饮 alanchanchn
2023博客之星12
本科毕业于西安电子科技大学
硕士毕业于华东理工大学
长期从事软件、管理相关工作,擅长管理、一般应用系统开发、大数据开发,常见的框架、组件较为了解。
展开
-
5、Flink的source、transformations、sink的详细示例(二)-source和transformation示例
Flink(一)1.12.7或1.13.5详细介绍及本地安装部署、验证Flink(二)1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤Flink(三)flink重要概念(api分层、角色、执行流程、执行图和编程模型)及dataset、datastream详细示例入门和提交任务至on yarn运行Flink(四)介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与K原创 2023-07-10 13:00:16 · 40686 阅读 · 0 评论 -
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
Apache NiFi系列文章1、nifi-1.9.2介绍、单机部署及简单验证2、NIFI应用示例-GetFile和PutFile应用3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看4、集群部署及验证、监控及节点管理5、NiFi FileFlow示例和NIFI模板示例6、NIFI应用场景-离线同步Mysql数据到HDFS中7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中8、NIFI综合应用场景-NiFi监控MySQL bin原创 2023-05-11 16:05:09 · 45544 阅读 · 0 评论 -
5、kafka监控工具Kafka-Eagle介绍及使用
早期,要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager,但随着监控的功能要求、性能要求的提高,这些工具已经无法满足。Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。原创 2023-05-09 16:09:23 · 48426 阅读 · 0 评论 -
4、kafka分区、副本介绍及示例、高级API与低级API
下例是实现自定义分区的代码/**// 1. 创建用于连接Kafka的Properties配置 Properties props = new Properties();//设置kafka分区规则 props . put(ProducerConfig . PARTITIONER_CLASS_CONFIG , KeyWithRandomPartitioner . class . getName());原创 2023-05-09 16:08:53 · 45184 阅读 · 0 评论 -
3、kafka重要概念介紹及示例
Kafka事务是2017年Kafka 0.11.0.0引入的新特性。类似于数据库的事务。Kafka事务指的是生产者生产消息以及消费者提交offset的操作可以在一个原子操作中,要么都成功,要么都失败。尤其是在生产者、消费者并存时,事务的保障尤其重要。Kafka启动时,会在所有的broker中选择一个controller前面leader和follower是针对partition,而controller是针对broker的。原创 2023-05-09 16:07:50 · 44956 阅读 · 0 评论 -
2、java调用kafka api
实现序列化与反序列化,主要是以字节流的形式读取和写入数据,然后实现kafka的序列化与反序列化的方法,最后在生产者或消费者中设置key、value的序列化与反序列化的类。本分五部分,即简单的写数据到kafka、从topic中消费数据、异步回调、读写kafka中复杂数据类型和读取历史数据。在该服务启动前,如果topic中存在数据,是可以全部读出来,但如果topic数据部分已经被消费了,也会被读出来。从 test topic中,将消息都消费,并将记录的offset、key、value打印出来。原创 2023-05-09 16:07:33 · 45473 阅读 · 0 评论 -
1、kafka(2.12-3.0.0)介绍、部署及验证、基准测试
Kafka是由Apache软件基金会开发的一个开源流平台,由Scala和Java编写。Publish and subscribe:发布与订阅Store:存储Process:处理Kafka生态圈官网地址:https://cwiki.apache.org/confluence/display/KAFKA/Ecosystem。原创 2023-05-09 16:07:04 · 46119 阅读 · 0 评论 -
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(二)
本文通过在hdfs中三种不同数据格式文件存储相同数量的数据,通过hive和impala两种客户端查询进行比较。本文前提:熟悉hadoop、hive和impala、kafka、flink等,并且其环境都可正常使用。(在后续的专栏中都会将对应的内容补全,目前已经完成了zookeeper和hadoop的部分。本文分为五个部分,即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。由于本文太长,导致阅读可能比较麻烦,故一篇文章分为两篇,第一篇是准备数据,第二篇是查询比较。本文是第二篇。本文接。原创 2023-05-02 17:59:56 · 45668 阅读 · 0 评论 -
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(一)
本文通过在hdfs中三种不同数据格式文件存储相同数量的数据,通过hive和impala两种客户端查询进行比较。本文前提:熟悉hadoop、hive和impala、kafka、flink等,并且其环境都可正常使用。(在后续的专栏中都会将对应的内容补全,目前已经完成了zookeeper和hadoop的部分。)本文分为一般建议,下面通过实际操作进行比较实现1亿条数据在hive和impala中不同sql的分析,比较text、orc、parquet三种文件存储格式的查询性能与存储大小。下面步骤中的将mysql通过M原创 2023-05-02 17:42:10 · 45618 阅读 · 0 评论