- 博客(18)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 kafka贡献地址
kafka wiki贡献地址https://cwiki.apache.org/confluence/dashboard.action#all-updateskafka issues地址https://issues.apache.org/jira/projects/KAFKA/issues/KAFKA-10444?filter=allopenissueshttps://issues.apache.org/jira/secure/BrowseProjects.jspa?selectedCategory=
2020-12-30 21:51:50
529
原创 kafka发展趋势
1.kafka所有KIP地址https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals1.1.减少topic分区https://cwiki.apache.org/confluence/display/KAFKA/KIP-694%3A+Support+Reducing+Partitions+for+Topics1.2.MirrorMaker2精确一次https://cwiki.apache.org/con
2020-12-30 21:17:26
684
1
原创 Apache Kafka 2.7.0 稳定版发布
参考地址：https://www.orchome.com/9993Apache Kafka 2.7.0 于2020年12月21日正式发布，这个版本是目前 Kafka 最新稳定版本，大家可以根据需要自行决定是否需要升级到次版本，关于各个版本升级到 Apache Kafka 2.7.0 请参见《Upgrading to 2.7.0 from any version 0.8.x through 2.6.x》。在这个版本中，社区仍然在推进从 Kafka 移除对 ZooKeeper 的依赖，比如这个版本在 KIP
2020-12-28 20:58:35
570
原创 Kafka将逐步弃用对zookeeper的依赖
1、为什么以及如何消除 Kafka 对 ZooKeeper 的依赖 ？2、新控制器的架构是怎样的？3、代理通过新的 MetadataFetch API 从哪里获取更新？4、代理进程有哪些状态？Kafka 社区在 Wiki 空间上提交了一项新的改进提案“KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum”，为了消除 Kafka 对 ZooKeeper 的依赖，该提案建议用自管理的元数据仲裁机制替换原来的 ZooKeeper 组件
2020-12-28 20:54:35
2882
4
原创 Linux tcpdump抓包分析
tcpdump是一个用于截取网络分组，并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统 中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。因此系统中存在网络分析工具主要不是对本机安全的威胁，而是对网络上的其他计算机的安
2020-12-26 22:16:40
595
原创 Java延时队列DelayedQueue
DelayQueue是一个无界的BlockingQueue，用于放置实现了Delayed接口的对象，其中的对象只能在其到期时才能从队列中取走。下面看个小例子：import java.util.Date;import java.util.concurrent.DelayQueue;import java.util.concurrent.Delayed;import java.util.concurrent.TimeUnit;public class MyDelayedQueue { pu
2020-12-23 21:11:38
695
原创 java.nio.DirectByteBuffer管理堆外内存
堆外内存堆外内存是相对于堆内内存的一个概念。堆内内存是由JVM所管控的Java进程内存，我们平时在Java中创建的对象都处于堆内内存中，并且它们遵循JVM的内存管理机制，JVM会采用垃圾回收机制统一管理它们的内存。那么堆外内存就是存在于JVM管控之外的一块内存区域，因此它是不受JVM的管控。java.nio.DirectByteBuffer是Java用于实现堆外内存的一个重要类，我们可以通过该类实现堆外内存的创建、使用和销毁。DirectByteBuffer该类本身还是位于Java内存模型的堆中。堆
2020-12-20 17:54:31
390
原创 kafka消费者源码解析
在分析kafka消费者源码之前，我先提出以下问题，大家带着问题去看。1.消费者如何知道需要消费的topic分区分布在集群的哪些broker上呢？2.由于消费组内存在多个消费者消费同一topic的情况，那么消费者如何知道自己可以消费指定topic的哪些分区呢？3.新的消费者加入消费组(第一次进行消费也属于这种情况)，如何给消费者分配分区呢？4.消费者宕机下线(长时间未发送心跳包)，如何给消费者分配分区呢？5.消费者主动退出消费组，比如调用unsubscrible()方法取消对主题的订阅，如何给消费者
2020-12-19 21:40:05
652
1
原创 java native方法
Java 中的native方法是用做java 和其他语言（如c++）进行协作时使用的，也就是native 后的函数的实现不是用java写的。既然都不是java实现，那就别管它的源代码了，我们只需要知道这个方法已经被实现即可。native的意思就是通知操作系统， 这个函数你必须给我实现，因为我要使用。 所以native关键字的函数都是操作系统实现的， java只能调用。java是跨平台的语言，既然是跨了平台，所付出的代价就是牺牲一些对底层的控制，而java要实现对底层的控制，就需要一些其他语言的帮助，这个
2020-12-17 23:10:46
206
原创 Kafka如何更新元数据到各broker节点
1.新启动broker/broker下线情况2.controller重新选举情况3.分区迁移情况
2020-12-14 23:03:26
539
1
原创 kafka是如何通过配置的bootstrap.servers获取topic元数据的呢
1.当bootstrap.servers配置的是单个或多个具体IP时2.当bootstrap.servers配置的是一个域名时（lvs+dns部署模式）
2020-12-14 22:59:47
3298
原创 Linux IO 测试工具 fio命令
fio是测试IO的非常好的工具，用来对磁盘进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。fio是一个可以产生很多线程或进程并执行用户指定的特定类型I/O操作的工具，fio的典型用途是编写和模拟的I/O负载匹配的作业文件。也就是说fio 是一个多线程io生成工具，可以生成多种IO模式，用来测试磁盘设备的性能（也包含文件系统：如针对网络文件系统 NFS 的IO测试）。fio在github地址：https://github.com/axboe/fiofi
2020-12-14 19:39:20
1967
原创 Kafka MirrorMaker2.0 （异地双活/跨数据中心容灾/跨集群容灾）
参考地址：https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0
2020-12-07 21:30:55
2270
1
原创 Kafka产品迭代计划（RoadMap）
https://cwiki.apache.org/confluence/display/KAFKA/Future+release+plan
2020-12-07 21:27:59
326
原创 Linux shell脚本调试
1.调试脚本set -e遇到执行非0时退出脚本;set-x打印执行过程;例1 test1.shset -eset -xecho //////////////////echo start...echo //////////////////cat /test.txtecho end...#执行结果yangyijundeMacBook-Pro:~ yangyijun$ sh test.sh + echo ////////////////////////////////////+
2020-12-06 13:02:39
127
jquery easyui
2015-03-08
ECharts图表插件
2014-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人