![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 66
菜鸟也学大数据
这个作者很懒,什么都没留下…
展开
-
Kafka消息压缩算法
kafka是如何压缩消息的?要弄清楚这个问题,就要从kafka的消息格式说起。kafka的消息层次分为两层:消息集合(message set)以及消息(message)。一个消息集合包含若干条日志项(record item),而日志项才是真正封装消息的地方。kafka底层的消息日志由一系列消息集合日志项组成。kafka通常不会直接操作具体的一条条消息,它总是在消息集合这个层面上进行写入操作。在kafka中,压缩可能会发生在两个地方:生产者端和broker端。生产者程序中配置compression原创 2021-03-10 22:20:11 · 1084 阅读 · 0 评论 -
实现将Kafka Topic中的数据传入HBase
创建Maven项目在Pom.xml中添加依赖 <!- 根据自己使用的kafka、HBase版本进行修改-> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.0.0</version> </dependenc原创 2021-01-07 09:16:16 · 695 阅读 · 1 评论 -
Flink输出数据至Kafka
创建Maven项目配置Pom.xml文件 <!- 根据自己使用的版本进行修改版本号 -> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> </dependency>原创 2020-12-29 17:24:29 · 1306 阅读 · 0 评论 -
Flink读取Kafka中的数据
创建Maven项目配置pom.xml文件 <!- 根据自己使用的版本情况进行修改版本号 -> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> </dependency>原创 2020-12-28 17:12:36 · 1375 阅读 · 0 评论 -
Spark Streaming时间窗口示例
示例采集Kafka中数据实现Spark Streaming类import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.streaming.dstream.{DStream,原创 2020-12-22 21:39:11 · 760 阅读 · 0 评论 -
SparkStreaming采集Kafka数据
实现SparkStreaming类import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord}import org.apache.spark.streaming.dstream.{DStream, InputDStream}import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}im原创 2020-12-21 16:57:40 · 190 阅读 · 0 评论 -
Flume到Kafka
Kafka创建Topic创建Topic:fk_rawkafka-topics.sh --create --zookeeper 192.168.**.**:2181 --topic fk_raw --partitions 1 --replication-factor 1Flume创建agent在flume/conf目录下创建:vi /opt/flume/conf/fk.conf 输入以下内容#定义sources名称fk.sources=fkSource#定义channels名称fk.原创 2020-12-08 17:02:07 · 178 阅读 · 0 评论 -
学习使用JAVA操作Kafka
实现生产者(Producer)Kafka创建测试Topic#Topic名称为test,分区为3,副本为1kafka-topics.sh --create --zookeeper 192.168.**.**:2181 --topic test --partitions 3 --replication-factor 1JAVA配置pom.xml文件 <!-- 添加kafka依赖包(根据自己使用的版本选择版本号)--> <dependency> <原创 2020-12-07 17:53:51 · 872 阅读 · 0 评论 -
Kafka安装配置与操作命令
Kafka安装配置我是使用的版本时2.11第一步:解压包tar -zxvf /opt/kafka_2.11-2.0.0.tgz -C /opt第二步:修改解压后的包名``原创 2020-12-04 12:37:22 · 184 阅读 · 0 评论