Kafka
神之凝视
这个作者很懒,什么都没留下…
展开
-
Flink流连接器之Kafka【三】【事件时间与水印、分区计划、容错、Kerberos身份验证】
一.Kafka使用者和时间戳提取/水印发射在许多情况下,记录的时间戳(显式或隐式地)嵌入到记录本身。另外,用户可能希望例如基于包含当前事件时间水印的Kafka流中的特殊记录,周期性地或以不规则的方式发出水印。对于这些情况,Flink Kafka Consumer允许指定一个AssignerWithPeriodicWatermarks或一个AssignerWithPunctuatedWatermarks。可以按此处所述指定自定义的时间戳提取器/水印发射器,或使用预定义的提取器/水印发射器 。这样做之后,可原创 2020-07-15 10:13:31 · 1360 阅读 · 0 评论 -
Flink流连接器之Kafka【二】【Kafka Offset设置、容错、主题和分区动态发现】
一.Kafka offset 配置Flink Kafka Consumer可以配置Kafka分区的起始位置。代码://获取数据源 kafkaval consumer : FlinkKafkaConsumer09[String] = new FlinkKafkaConsumer09[String]( "spark", new SimpleStringSchema(), properties)//val hashMap : util.Map[KafkaTopicPartition, java.la原创 2020-07-03 19:26:35 · 1393 阅读 · 0 评论 -
Spark1.x升级Spark2.x常见异常Kafka篇【TopicMetadataRequest】
一.原因分析当Spark从1.x升级到2.x时,如果使用SparkStreaming加载Kafka的数据,即使Kafka版本没有变化【一般会有所升级】,对应的spark-streaming-kafka也必须升级到对应版本,访问方式也会有所变化。此处是从Spark1.6.0升级到Spark2.4.3,Kafka略有升级【从2.1.0升级到2.2.1】,初始使用的是:import org.apache.spark.streaming.kafka.KafkaUtilsval dframe = Kafka原创 2020-07-01 14:18:56 · 382 阅读 · 2 评论 -
Flink流连接器之Kafka【一】【Kafka安装、Kafka版本差异、序列化类型】
一.简介Flink提供了特殊的Kafka连接器,用于在Kafka主题之间读写数据。Flink Kafka Consumer与Flink的检查点机制集成在一起,以提供一次精确的处理语义。为了实现这一目标,Flink不仅依赖于Kafka的消费者组偏移量跟踪,而且在内部也跟踪并检查这些偏移量。对于大多数用户来说,FlinkKafkaConsumer08【08代表Kafka的版本】是合适的。具体如下:二.安装Apache Kafka参考博客:Kafka分布式安装备注:按照Kafka快速入门中的说明原创 2020-06-27 17:18:26 · 746 阅读 · 0 评论 -
Flink整合Kafka实现WordCount
一.简介Flink的基本信息和API信息以及Kafka的基本信息在此不再赘述,需要了解的参考博客:Flink:Flink流处理API编程指南 Kafka:Kafka基本信息二.代码实战package cn.kafkaimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.window原创 2020-06-15 17:50:14 · 427 阅读 · 0 评论 -
Flink整合Kafka报objenesis
一.场景因Scala函数式和链式编程使用使得代码简介性相较Java有质的提升,因此,在Flink开发时还是使用Scala进行编程。但是在加载Kafka的数据时报objenesis异常,但是代码中没有使用POJO类。二.异常信息D:\Users\Administrator\jdk1.8.0_66\bin\java -Didea.launcher.port=7536 -Didea.launcher.bin.path=D:\Users\Administrator\IDEA15\bin -Dfile.enco原创 2020-06-15 17:25:44 · 220 阅读 · 0 评论 -
Kafka启动异常之InconsistentClusterIdException
一.场景kafka集群一般都是部署在zookeeper集群之上的,当Kafka出现异常时,强行关闭kafka集群或zookeeper集群时,重新启动时经常会出现异常InconsistentClusterIdException。二.异常信息ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdExcepti原创 2020-06-15 14:24:44 · 6567 阅读 · 5 评论 -
从数据库和分布式系统浅谈日志那些事
一.什么是日志?日志可能是最简单的存储抽象。它是按时间排序的仅附加的,完全排序的记录序列。看起来像这样:记录被追加到日志的末尾,并且读取从左到右进行。每个条目均分配有唯一的顺序日志条目号。记录的顺序定义了“时间”的概念,因为左边的条目定义为比右边的条目更早。日志条目号可以视为条目的“时间戳记”。首先,将这种顺序描述为时间概念似乎有些奇怪,但是它具有方便的特性,即它可以与任何特定的物理时钟分离。当我们进入分布式系统时,此属性将变得至关重要。记录的内容和格式对于此讨论而言并不重要。另外,我们不能只是继原创 2020-06-03 20:35:02 · 328 阅读 · 0 评论 -
Kafka常用用例分析
一.消息传递Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因(将处理与数据生产者分离,缓冲未处理的消息等)。与大多数邮件系统相比,Kafka具有更好的吞吐量,内置的分区,复制和容错能力,这使其成为大规模邮件处理应用程序的理想解决方案。根据我们的经验,消息传递的使用通常吞吐量较低,但是可能需要较低的端到端延迟,并且通常取决于Kafka提供的强大的持久性保证。在此领域中,Kafka与ActiveMQ或 RabbitMQ等传统消息传递系统相当。二.网站活动跟踪Kafka最初的用例是能够将用原创 2020-06-03 20:10:35 · 231 阅读 · 0 评论 -
Kafka集群模式搭建及代码实战【基于zookeeper】
一.启动zookeeper集群zookeeper集群搭建参考:zookeeper集群搭建备注:一个leader两个follower!二.Kafka集群模式搭建1.配置server.properties############################# Server Basics #############################broker.id=0############################# Socket Server Settings ########原创 2020-05-13 16:37:30 · 208 阅读 · 0 评论 -
Kafka单机及伪集群模式部署及基本操作
一.下载,解压二.启动服务器【先启动zookeeper】Kafka使用ZooKeeper,因此如果还没有,请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。启动zookeeper:启动Kafka:三.创建topic用一个分区和一个副本创建一个名为“ test1”的主题:现在,运行list topic命令,可以看到该主题:四.生产消息Kafka带有一个命令行客户端,它将从文件或标准输入中获取输入,并将其作为消息发送到Kaf原创 2020-05-11 17:11:14 · 393 阅读 · 0 评论 -
Kafka基础知识及核心概念入门
一.简介流平台具有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。Kafka通常用于两大类应用程序:建立实时流数据管道,以可靠地在系统或应用程序之间获取数据。构建实时流应用程序以转换或响应数据流。首先几个概念:Kafka在一个或多个跨越多个数据中心的服务器上作为集群运行。Kafka集群将记录流存储在称为topic的类别中。每个记录由一个键,一个值和一个时间戳组成。Kafka具有五个核心API:生产者API允许应原创 2020-05-09 16:21:57 · 352 阅读 · 0 评论