辉哥的IT杂货铺-CSDN博客

原创 Kafka生产者分区优化

经过前面几篇kafka生产者专题讲解，我们还可以找出哪些地方进一步来对它进行优化的吗？答案是肯定的，这里我们介绍一个kafka当前最新版本2.4.0合入的一个KIP-480，它的核心逻辑就是当存在无key的序列消息时，我们消息发送的分区优先保持粘连，如果当前分区下的batch已经满了或者linger.ms延迟时间已到开始发送，就会重新启动一个新的分区（逻辑还是按照Round-Robin模式），我...

2019-09-27 19:21:14 737

原创 kafka生产者的消息发送机制

开篇一张图，读者更幸福，不多说上架构图。这个架构图我们在前面一篇文章《kafka生产者的蓄水池机制》里面介绍过，上一篇我们是介绍了这个图里面的消息收集过程（我们成为“蓄水池”机制），这里我们就介绍它的另外一部分，消息的发送机制。1.1、Sender运行过程所有的消息发送，都是从Sender线程开始，它是一个守护线程，所以我们首先就需要来看一下Sender的run方法，最外层的run...

2019-09-19 16:07:41 1064

原创 kafka生产者的蓄水池机制

1.1、整体架构图Kafka还有蓄水池？大家先别急，我们先上一张架构图。从上面的架构图可以看出，生产的流程主要就是一个producer线程和一个sender线程，它们之间通过BatchQueue来获取数据，它们的关系是一一对应的，所以kafka的生产过程都是异步过程，它的同步和异步指的是接收响应结果的模式是同步阻塞还是异步回调。同步和异步的生产者调用示例如下：异步生产模式：p...

2019-09-12 17:23:41 1141 1

原创 kafka是如何做到百万级高并发低迟延的？

Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。Kafka到底是如何做到这么高的吞吐量和性能的呢？我们今天来走进kafka的server端探究一下它的Reactor高并发网络模型机制。1.1、Kafka Reactor模型架构Kafka客户端和服务端通信采取的是NIO的reactor模...

2019-09-09 13:00:16 775

转载 HashMap与TreeMap按照key和value排序

结合代码讲解HashMap与TreeMap按照key和value排序

2017-06-06 11:05:38 633

转载 MLP(多层神经网络)介绍

mlp基础介绍及源码实现

2017-05-24 16:09:16 56331

原创风险防御之数据防伪

聊聊基于机器学习的数据防伪造

2017-04-21 16:29:43 686

原创聊聊推送的架构及关键技术实现

推送是在日常终端使用场景中经常碰到，特别是移动互联网普及之后，手机终端成为了消息推送的主战场，例如生活服务类的优惠券推送，咨询类的新闻推送，电商类的购物推送等等，在业务用户触达上起到了至关重要的作用，那我们今天就来揭开一下推送这个隐藏在业务背景之下的技术实现系统架构及模块介绍这是一个比较完整的推送业务架构图，分为三个部分：业务层、通道层和客户端常驻服务，一般来说客户端常驻服务和

2017-03-29 17:49:07 10758 9

原创基于spark的svm算法实现

基于spark的svm算法实现

2017-03-08 11:50:46 4488

原创基于session的事务管理组件实现与应用

基于session的事务管理组件实现与应用

2017-02-05 10:39:18 687

原创读写分离组件Meods原理及实现

读写分离组件Meods原理及实现

2017-01-04 12:15:53 1039

转载 zookeeper系列之通信模型

zookeeper系列之通信模型

2016-12-15 11:52:51 1184

原创基于spark的adaboost实现

基于spark的adaboost实现

2016-12-06 17:10:44 4167 11

原创 Spring事务之事务回滚、清理及提交

Spring事务之事务回滚、清理及提交

2016-11-22 14:31:12 4098

原创 Spring事务之事务状态信息的创建

Spring事务之事务状态信息的创建

2016-11-15 14:04:51 3066

原创第7章：基于zookeeper的分布式session

基于zookeeper的分布式session

2016-11-10 14:50:31 2844 1

原创弹性分布式数据集（RDD）

弹性分布式数据集（RDD）

2016-11-08 20:08:22 4034 3

原创 spark环境构建及示例

spark环境构建及示例

2016-11-04 15:59:52 4439

原创 spring MVC的实现原理

spring MVC的实现原理

2016-11-01 17:10:17 8393 6

原创第6章：基于zookeeper的配置管理中心

第6章：基于zookeeper的配置管理中心

2016-10-26 15:19:34 28316 3

原创第5章：基于zookeeper的分布式锁实现

第5章：基于zookeeper的分布式锁实现

2016-10-20 18:02:14 20758 2

原创 Spring AOP拦截器调用实现

Spring AOP拦截器调用实现

2016-10-17 11:03:42 20069 2

原创第4章: zookeeper 基础API使用

第4章：zookeeper 基础API使用

2016-10-09 17:05:56 18511

原创 Spring AOP proxy代理生成

Spring AOP proxy代理生成

2016-10-09 12:21:02 18689

转载第3章: zookeeper命令行使用

第三章zookeeper命令行使用

2016-09-26 14:11:23 19172 5

原创第2章：zookeeper安装

第2章：zookeeper安装

2016-09-21 16:15:06 18440 1

原创第1章：zookeeper介绍

第1章：zookeeper介绍

2016-09-21 16:12:17 18684 2

原创逻辑回归(Logistic)

逻辑回归(Logistic)

2016-09-18 11:51:59 20877

原创 Spring Ioc容器依赖注入

Spring Ioc容器依赖注入

2016-09-13 12:07:52 18976

原创关于对象的深度复制和浅度复制

关于对象的深度复制和浅度复制

2016-09-07 17:44:43 19172

原创互联网安全防御之道

前言互联网安全在时下炙手可热，12306，网易邮箱，唯品会，天涯，小米等等账户信息的泄露，无不敲响互联网安全警钟，互联网安全其本质是黑客和开发者之间的攻防战争，既然是战争就有相通性，就可以借鉴战争的一些基本思想来实施防御。苏联元帅米·尼·图哈切夫斯基在对第一次世界大战以及国内战争经验的基础上，提出一种名为：大纵深作战理论的思想，该思想的核心是：多点布防，以点带面，多面成体，纵深打击及防御。在攻

2016-09-05 22:19:34 18593

原创 Spring Ioc容器初始化

Spring原理及设计模式分析之Spring Ioc容器初始化

2016-09-05 16:14:54 19475

原创朴素贝叶斯分类(Naive Bayesian classification)

朴素贝叶斯分类(Naive Bayesian classification)

2016-09-02 11:05:32 18464

原创聚类分析之dbscan

聚类分析之dbscan

2016-08-26 18:13:08 23523

原创决策树（Decision Tree）

决策树（Decision Tree）

2016-08-26 16:36:35 10200

原创 k-近邻算法(k-Nearest Neighbor，KNN)

机器学习算法之k-近邻算法(k-Nearest Neighbor，KNN)

2016-08-22 11:59:06 8903 2

flykinghg的博客