jira新版本添加自定义字段html不生效_Kafka 2.4.0版本发布说明 [必升版]

以下是Kafka 2.4.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档，或kafka中文教程。

有关升级的注意事项：在升级你的集群之前，请仔细阅读此版本的升级文档。升级有关不兼容性和破坏性的变更，性能变化以及可能影响Kakfa生产的任何其他变化。

Kafka 2.4.0包含许多重要的新功能。以下是一些重要的摘要：

• 允许consumer从最近的副本中拉取。

• 支持对消费者重新平衡协议进行渐进式合作重新平衡。

• MirrorMaker 2.0 (MM2), 新的多集群，跨数据中心复制引擎。

• 新的Java认证接口。

• 支持KTable中的非key连接。

• 副本重新分配的Administrative API 

新功能

[KAFKA-3333] - 支持“ Always Round-Robin”分区的备用分区程序[KAFKA-3705] - 在KTable中支持非key连接[KAFKA-7471] - 多消费组组管理(描述，重置，删除)[KAFKA-7500] - MirrorMaker 2.0 (KIP-382)[KAFKA-7800] - 扩展Admin API以支持动态日志级别[KAFKA-8286] - KIP-460 Admin Leader 选举 RPC[KAFKA-8447] - 测量连接器上任务数量的新指标[KAFKA-8874] - KIP-517: 添加消费者指标以观察用户poll行为[KAFKA-8885] - Kafka协议应支持可选的标记字段[KAFKA-8907] - 在CreateTopics响应中返回topic配置[KAFKA-8952] - 发现jackson-databind-2.9.9的漏洞改进[KAFKA-5609] - 默认情况下，Connect log4j应该记录到文件[KAFKA-6263] - 组元数据加载持续时间的公开指标[KAFKA-6883] - KafkaShortnamer应该允许将Kerberos主体名称转换为大写用户名[KAFKA-6958] - 允许KStreams DSL定义自定义处理器名称[KAFKA-7018] - 持续使用memberId来重新启动consumer[KAFKA-7149] - 减少分配数据大小以提高kafka stream的可扩展性[KAFKA-7190] - 在低流量的情况下，清除分区topic会引起关于UNKNOWN_PRODUCER_ID的WARN语句[KAFKA-7197] - 支持 Scala 2.13.0[KAFKA-7245] - 弃用 WindowStore#put(key, value)[KAFKA-7273] - Converters应有权访问headers。[KAFKA-7335] - 将clusterId存储在本地以确保broker加入正确的集群[KAFKA-7548] - 暂停的分区KafkaConsumer不应丢弃已获取的数据。[KAFKA-7772] - 在Connect worker动态的调整日志级别[KAFKA-7981] - 增加Replica Fetcher and Log Cleaner计数度量[KAFKA-8233] - KIP-470: TopologyTestDriver测试输入和输出可用性的改进[KAFKA-8305] - AdminClient应该支持使用默认分区和复制来创建topic[KAFKA-8333] - 处理LeaderAndIsr请求时仅加载一次高watermark检查点[KAFKA-8400] - 如果日志读取失败，则不更新follower副本状态[KAFKA-8452] - 可能禁用缓冲区优化：删除重复的先前值[KAFKA-8488] - FetchSessionHandler日志记录在TLAB中创建73mb分配，这可能不是操作[KAFKA-8501] - 从异常消息中删除key和value[KAFKA-8513] - 添加适用于Windows平台的kafka-streams-application-reset.bat[KAFKA-8544] - 删除旧的kafka.admin.AdminClient[KAFKA-8545] - 删除旧的ZkUtils[KAFKA-8558] - KIP-479 - StreamJoined重载添加到KStream#Join[KAFKA-8559] - PartitionStates.partitionStates导致数组增长分配。[KAFKA-8560] - Kafka协议生成应支持通用结构[KAFKA-8563] - Minor: 删除networkSend的方法调用。依靠Java vargas boxing/autoboxing[KAFKA-8594] - 为Kafka 2.3.0添加Kafka Streams兼容性测试[KAFKA-8595] - 支持JSON中未进行十六进制编码的十进制SerDe[KAFKA-8601] - Producer 改进: Sticky Partitioner[KAFKA-8634] - 更新 ZooKeeper到3.5.5[KAFKA-8644] - Kafka协议生成应允许将字节和数组字段的默认值设置为空[KAFKA-8669] - 在Kafka Security配置中添加Java安全提供程序[KAFKA-8676] - 避免停止不必要的连接器和任务[KAFKA-8696] - 清理Sum/Count/Total指标[KAFKA-8717] - 从日志读取时使用缓存的hw/lso偏移量元数据[KAFKA-8725] - 未能获取最脏的日志时改进LogCleaner错误处理[KAFKA-8730] - 添加API以删除consumer offset(KIP-496)[KAFKA-8745] - 消息为空时，DumpLogSegments不显示key[KAFKA-8753] - 添加JMX以获取标记为删除的主题数[KAFKA-8792] - 默认ZK配置以禁用AdminServer[KAFKA-8839] - 在debug任务的生命周期中，改进Kafka的日志记录[KAFKA-8853] - 创建Trogdor的持续连接测试[KAFKA-8859] - 重构Streams指数的缓存级别[KAFKA-8880] - 增强Consumer.committed(partition)以允许多个分区[KAFKA-8884] - 改善ProcessorsNodes中类强制转换异常的流错误[KAFKA-8927] - 删除配置`partition.grouper`和接口`PartitionGrouper`[KAFKA-8934] - 介绍实例级指标[KAFKA-8954] - 在DeleteOffset API中错误地实现了topic存在检查[KAFKA-8956] - 重构DelayedCreatePartitions#update等待以避免在foreach中修改集合[KAFKA-8984] - 完善标签字段文档[KAFKA-8985] - 与LeaderAndIsr，UMR等一起使用flexibleVersions，并提高RequestResponseTest的覆盖率[KAFKA-9020] - Streams子拓扑应按接收器->源关系排序[KAFKA-9033] - 将consumer/producer中的默认客户端ID更改为更有意义[KAFKA-9038] - 允许在重新分配分区时创建分区[KAFKA-9058] - 外键联接不应要求可查询的存储

Bug

[KAFKA-1714] - gradle-wrapper.jar的更好的引导[KAFKA-5566] - 片测试QueryableStateIntegrationTest.shouldAllowToQueryAfterThreadDied[KAFKA-5998] - /.checkpoint.tmp找不到异常[KAFKA-6290] - Kafka Connect类型转换应支持逻辑类型[KAFKA-6605] - Flatten SMT无法正确处理为空的字段[KAFKA-7157] - Connect TimestampConverter SMT不处理空值[KAFKA-7263] - 容器异常java.lang.IllegalStateException：选择的协调器无效的分配协议：null[KAFKA-7849] - 添加GlobalKTable时警告[KAFKA-7921] - 不稳定的KafkaStreamsTest[KAFKA-7937] - 片测试ResetConsumerGroupOffsetTest.testResetOffsetsNotExistingGroup[KAFKA-7941] - 由于broker不可用，当获取offset失败时，Connect KafkaBasedLog工作线程终止[KAFKA-7990] - 片测试KafkaStreamsTest#shouldCleanupOldStateDirs[KAFKA-7994] - 改进重新平衡和重启的Stream时间[KAFKA-8024] - UtilsTest.testFormatBytes在德语中失败[KAFKA-8041] - 片测试 LogDirFailureTest#testIOExceptionDuringLogRoll[KAFKA-8053] - 当topic不存在时，kafka-topics.sh会给出令人困惑的错误消息[KAFKA-8078] - 片测试TableTableJoinIntegrationTest#testInnerInner[KAFKA-8086] - 片测试GroupAuthorizerIntegrationTest#testPatternSubscriptionWithTopicAndGroupRead[KAFKA-8104] - 消费者重新平衡后无法重新加入群组[KAFKA-8106] - logValidator进行验证时，减少ByteBuffer的分配和复制。[KAFKA-8122] - 片测试EosIntegrationTest#shouldNotViolateEosIfOneTaskFailsWithState[KAFKA-8198] - KStreams测试文档使用不存在的方法“pipe”[KAFKA-8262] - 片测试MetricsIntegrationTest#testStreamMetric[KAFKA-8263] - 片测试MetricsIntegrationTest#testStreamMetricOfWindowStore[KAFKA-8297] - Kafka Streams ConsumerRecordFactory产生有关泛型的困难编译器错误[KAFKA-8319] - 片测试KafkaStreamsTest.statefulTopologyShouldCreateStateDirectory[KAFKA-8340] - 从独立的插件路径目录中使用ServiceLoader时失败[KAFKA-8392] - 当分区leader移到另一个节点时，Kafka Broker泄漏度量指标。[KAFKA-8412] - 在关闭生产者之前进行刷新时，关闭时仍会引发nullpointer异常[KAFKA-8427] - 在Windows下清理EmbeddedKafkaCluster时出错[KAFKA-8442] - 使用--bootstrap-server时，topic命令中的ISR输出不一致[KAFKA-8448] - 太多的kafka.log.Log日志 (内存泄露)[KAFKA-8454] - 添加Java的AdminClient接口[KAFKA-8456] - 片测试StoreUpgradeIntegrationTest#shouldMigratePersistentWindowStoreToTimestampedWindowStoreUsingPapi[KAFKA-8461] - 片测试UncleanLeaderElectionTest#testUncleanLeaderElectionDisabledByTopicOverride[KAFKA-8487] - 消费者不应在提交响应处理中在REBALANCE_IN_PROGRESS时复位resetGeneration[KAFKA-8514] - Kafka客户端不应包含Scala的Java 8兼容性库[KAFKA-8523] - 遇到逻辑删除事件时，InsertField转换失败[KAFKA-8526] - 即使存在其他活动目录，broker也可能为新副本选择失败的目录[KAFKA-8530] - consumer应在OffsetFetch中处理授权错误[KAFKA-8550] - 连接器验证因使用别名转换器而失败[KAFKA-8586] - 源任务生产者默默地发送消息失败[KAFKA-8602] - StreamThread之所以死，是因为还原consumer未订阅任何topic[KAFKA-8615] - 更改以跟踪分区时间间隔TimestampExtractor[KAFKA-8620] - StreamThread状态更改中的竞争条件[KAFKA-8635] - 在事务请求之前查找协调器时不必要的等待[KAFKA-8637] - WriteBatch对象泄漏堆外内存[KAFKA-8649] - 从Kafka Streams 2.0.0 -> Kafka Streams 2.1.0时滚动更新报错[KAFKA-8662] - 如果先前的生产者生产的是未认证的主题，则生产者将失败[KAFKA-8670] - 如果集群上不存在任何topic，则kafka-topics.sh在描述所有topic时会显示IllegalArgumentException[KAFKA-8671] - 如果与GlobalKTable关联的topic发生更改，则会发生NullPointerException[KAFKA-8677] - 片测试GroupEndToEndAuthorizationTest#testNoDescribeProduceOrConsumeWithoutTopicDescribeAcl[KAFKA-8688] - 由于旧消息格式的数据丢失，升级系统测试失败[KAFKA-8698] - ListOffsets响应协议文档[KAFKA-8731] - InMemorySessionStore启动时抛出 NullPointerException[KAFKA-8736] - 性能：ThreadCache使用size()进行空缓存验证[KAFKA-8742] - 片测试RepartitionWithMergeOptimizingIntegrationTest#shouldSendCorrectResults_NO_OPTIMIZATION[KAFKA-8743] - 片测试RepartitionWithMergeOptimizingIntegrationTest#shouldSendCorrectRecords_OPTIMIZED[KAFKA-8748] - 片测试DescribeLogDirsRequestTest#testDescribeLogDirsRequest[KAFKA-8755] - 优化的源表的备用任务不会向其状态存储写入任何内容[KAFKA-8774] - 如果配置值包含其他字符，则Connect REST API会在任务终结点中公开纯文本秘密[KAFKA-8782] - ReplicationQuotaManagerTest和ClientQuotaManagerTest应该关闭Metrics对象[KAFKA-8788] - 通过大量分区优化客户端元数据处理[KAFKA-8791] - RocksDB时间戳存储应以常规模式打开新存储[KAFKA-8801] - 对一些成功的elect分区来说，electLeaderForPartitions冗余[KAFKA-8802] - ConcurrentSkipListMap显示缓存和内存中的性能下降[KAFKA-8804] - 内部Connect REST不安全[KAFKA-8813] - 创建主题并更改其配置时的竞争条件[KAFKA-8816] - StreamTask间接更新RecordCollector偏移量[KAFKA-8817] - 片测试KafkaProducerTest.testCloseIsForcedOnPendingAddOffsetRequest[KAFKA-8819] - 转换器的插件路径未按预期工作[KAFKA-8824] - 配置抑制后，InMemoryTimeOrderedKeyValueBuffer会传播空值[KAFKA-8837] - 几个集成测试错误地使用了verifyNonDaemonThreadsStatus[KAFKA-8857] - 配置描述不应基于同义词返回isReadOnly=false[KAFKA-8860] - SslPrincipalMapper应使用空格处理专有名称[KAFKA-8861] - 修复片 RegexSourceIntegrationTest.testMultipleConsumersCanReadFromPartitionedTopic[KAFKA-8875] - CreateTopic API应该在复制之前检查topic是否存在[KAFKA-8878] - 片测试AssignedStreamsTasksTest#shouldCloseCleanlyWithSuspendedTaskAndEOS[KAFKA-8889] - FetchSessionHandler.handleError的根本原因丢失了[KAFKA-8891] - 无效的分配协议java.lang.IllegalStateException：选择的协调器无效的分配协议：null[KAFKA-8892] - 在Kafka Configs帮助命令中显示排序的配置。[KAFKA-8911] - 隐式TimeWindowedSerde创建带有空内部序列化器的Serde[KAFKA-8943] - 将SecurityProviderCreator移至公共软件包[KAFKA-8945] - ConnectorHealth和AbstractState的构造函数中的空检查不正确[KAFKA-8947] - Connect框架错误地实例化了REST扩展的TaskStates[KAFKA-8950] - KafkaConsumer停止获取[KAFKA-8962] - KafkaAdminClient#describeTopics始终通过控制器[KAFKA-8972] - KafkaConsumer.unsubscribe可能会导致不一致的用户重新平衡回调状态[KAFKA-8974] - sink连接器无法处理带有空格的主题列表[KAFKA-8983] - AdminClient deleteRecords不应不必要地使所有分区失效[KAFKA-8992] - 不要在`RemoveMemberFromGroupResult`暴露错误[KAFKA-9003] - 片测试RepartitionOptimizingIntegrationTest#shouldSendCorrectRecords_OPTIMIZED[KAFKA-9014] - SourceTask.poll返回空列表时，由SourceRecordWriteCounter引发AssertionError[KAFKA-9029] - 片测试CooperativeStickyAssignorTest.testReassignmentWithRandomSubscriptionsAndChanges[KAFKA-9030] - 文档实例级指标[KAFKA-9032] - 当foreignValue=null时，使用null调用序列化[KAFKA-9046] - Connect worker配置需要未记录的“admin”。为连接器配置DLQ的前缀[KAFKA-9053] - AssignmentInfo#encode对LATEST_SUPPORTED_VERSION硬编码[KAFKA-9069] - 片测试AdminClientIntegrationTest.testCreatePartitions[KAFKA-9073] - 在StreamThread之一遇到java.lang.IllegalStateException之后，kafka流状态陷入了重新平衡状态：No current assignment for partition(没有当前分区分配)[KAFKA-9078] - 系统测试失败: ConnectRestApiTest[KAFKA-9079] - 系统测试失败: TransactionsTest[KAFKA-9080] - 系统测试失败: MessageFormatChangeTest.testCompatibilty[KAFKA-9084] - AlterPartitionReassignments不应删除所有副本[KAFKA-9089] - 重新分配应该可以应对意外错误[KAFKA-9133] - LogCleaner线程死于：发生意外异常时currentLog不能为空[KAFKA-9140] - 消费者陷入无限期重新加入消费者组的困境[KAFKA-9150] - DescribeGroup使用成员分配作为元数据[KAFKA-9156] - LazyTimeIndex和LazyOffsetIndex可能导致并发状态下的niobufferoverflow[KAFKA-9171] - DelayedFetch完成可能会引发异常，从而导致成功的生产消息失败[KAFKA-9175] - MirrorMaker 2发出无效的主题分区指标[KAFKA-9178] - 在最后一个还原任务完成之前，不会清除restorePartitions[KAFKA-9184] - zombie work重新加入消费者组后，创建了冗余任务并定期重新平衡[KAFKA-9190] - 服务器保留连接并打开过期的身份验证会话[KAFKA-9196] - segments滚动后在高水位前进之前暴露的消息[KAFKA-9198] - StopReplica处理程序应完成等待purgatory操作[KAFKA-9200] - ListOffsetRequest缺少v5的错误响应[KAFKA-9203] - kafka-client 2.3.1无法使用lz4压缩主题[KAFKA-9212] - 发送ListOffsetRequest时继续接收FENCED_LEADER_EPOCH[KAFKA-9219] - 从Kafka Connect轮询指标时发生NullPointerException[KAFKA-9231] - 在启用EOS的情况下，流线程可能会因可恢复的错误而死亡[KAFKA-9244] - 在RHS上更新旧FK引用时不应触发加入结果[KAFKA-9251] - 用Admin API描述非消费者组时会永远挂起[KAFKA-9258] - 连接ConnectorStatusMetricsGroup有时是NPE[KAFKA-9261] - 更新客户端元数据时的NPE[KAFKA-9265] -kafka.log.Log实例在删除日志时泄漏任务[KAFKA-8443] - 允许broker为consumer选择首选的只读副本[KAFKA-8765] - 删除“不稳定”注释[KAFKA-9072] - 为Topology Naming (KIP-307)添加Streams Developer Guide

测试

[KAFKA-9000] - 片测试KTableKTableForeignKeyJoinIntegrationTest.doLeftJoinFromRightThenDeleteRightEntity[KAFKA-9123] - 添加具有大量分区的系统测试

子任务

[KAFKA-4222] - 片测试QueryableStateIntegrationTest.queryOnRebalance[KAFKA-4600] - 当ConsumerRebalanceListener失败时，消费者继续进行[KAFKA-8221] - 扩展LeaveGroupRequest进行批处理操作[KAFKA-8331] - 在KStream上启用静态成员添加系统测试[KAFKA-8355] - 将静态成员资格添加到范围分配器[KAFKA-8390] - 用自动协议替换CreateDelegationToken请求/响应[KAFKA-8471] - 用自动协议替换控制请求/响应[KAFKA-8492] - 使用增量协议修改ConsumerCoordinator算法(第2部分)[KAFKA-8493] - 在RebalanceListener中添加PartitionsLost API(第3部分)[KAFKA-8496] - 添加系统测试的兼容性和升级路径(第6部分)[KAFKA-8510] - 更新StreamsPartitionAssignor以使用内置的拥有分区来实现粘性(第7部分)[KAFKA-8539] - 添加 `group.instance.id` 到 Subscription class[KAFKA-8578] - 添加 Functionality 到 Expose RocksDB Metrics[KAFKA-8579] - 将RocksDB指标公开到JMX[KAFKA-8580] - 计算RocksDB指标[KAFKA-8598] - 用自动协议替换RenewDelegationToken请求/响应[KAFKA-8599] - 用自动协议替换ExpireDelegationToken请求/响应[KAFKA-8600] - 用自动协议替换DescribeDelegationToken请求/响应[KAFKA-8603] - 文件升级路径[KAFKA-8609] - 添加消费者指标以实现再平衡(第9部分)[KAFKA-8704] - 添加PartitionAssignor适配器以实现向后兼容性[KAFKA-8760] - KIP-504: 添加新的Java Authorizer API[KAFKA-8848] - 更新系统测试以使用新的认证[KAFKA-8866] - 使Authorizer创建/删除异常的可选[KAFKA-8886] - 使Authorizer创建/删除异步方法[KAFKA-8887] - 如果实现异步，则对CreateAcls和DeleteAcls使用purgatory[KAFKA-8902] - 基础合作 vs 渴望重新平衡[KAFKA-8932] - 合并KIP-482时，在CreateTopics响应中为TopicConfigErrorCode添加标签[KAFKA-8942] - 记录RocksDB指标

关注我们

关注我们，获取最新技术一手动态。