2019年08月_master-dragon

11月 10月 09月 08月 07月 06月 04月 03月 01月

原创 zookeeper 使用 curator (参考druid.io源码)

创建节点 static String path = "/test/task"; public static void main(String[] args) { RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,3); CuratorFramework cf = CuratorFrameworkFac...

2019-08-17 22:26:10 345

原创令牌桶限流和信号量理解

控制访问速率，令牌桶每过1/r秒桶中增加一个令牌。桶中最多存放b个令牌，如果桶满了，新放入的令牌会被丢弃。当一个n字节的数据包到达时，消耗n个令牌，然后发送该数据包。如果桶中可用令牌小于n，则该数据包将被缓存或丢弃。令牌桶控制的是一个时间窗口内通过的数据量，在API层面我们常说的QPS、TPS，正好是一个时间窗口内的请求量或者事务量，只不过时间窗口限定在1s罢了。以一个恒定的速度往桶...

2019-08-14 23:36:16 1041

原创 druid.io 列式数据存储和简单分析 TODO

数据和列存储基数字典编码倒排索引BitMap查询1: 所有记录中找 city=‘shanghai’ and product=‘cellphone’ 的行city=‘shanghai’ 的 bitmap 1,0,1,0,0,1与product=‘cellphone’ 的bitmap 1,1,0,1,0,1结果1,0,0,0,0,1即出现在第1行和第6行查询2:...

2019-08-12 23:08:09 423

原创信号量限流测试和一些问题分析

参考http://developer.51cto.com/art/201907/600469.htmhttps://www.cnblogs.com/trust-freedom/p/6606594.htmljmeter 测试虽然我们的接口耗时只有100ms，实际的执行时间，却长的多有大量的线程处于饿死的状态，没有失败的如上图，很多线程是驻留状态，waiting on conditi...

2019-08-12 22:49:29 359

原创 CompletableFuture future.get 遇到 java.util.concurrent.TimeoutException

2019-08-07 工作中遇到的问题大概是：有个线程池满了，然后新的任务使用CompletableFuture.supplyAsync执行，用future1.get(1, TimeUnit.SECONDS)) 去获取的时候报错java.util.concurrent.TimeoutException报错java.util.concurrent.TimeoutException觉得很奇怪；随...

2019-08-07 22:33:45 4609

原创 mvn常用命令和使用

编译mvn compile编译测试mvn test-compile运行测试mvn test清除mvn clean会清除生产的target目录打包（包括测试，是把jar打到本项目的target）mvn package打包，并把target下的jar安装到本地仓库mvn install忽略测试mvn install -DskipTests 或 m...

2019-08-06 23:53:41 646

原创 kafka producer

借助Kafka-1.1.0一个比较老的版本查看源码学习：https://github.com/doctording/kafka-1.1.0-src/pull/1/files整体大致流程摘自：https://www.cnblogs.com/bigshark/p/11184070.html分同步发送和异步发送同步发送消息直接立即发送给对应的broker处理异步发送消息不是立即发送给对...

2019-08-05 09:27:05 3743 3

原创《Kafka源码解析与实战》Broker的控制管理模块

Kafka broker 相关KakfaController的选举创建一个 control 瞬时节点（Ephemeral Node），创建该瞬时节点的原子性有zookeeper保证KakfaController 初始化初始化Kafka集群内部的时钟，其时钟的具体数值是存在zookeeper上，路径为/contoller_epoch, Broker Server 利用此值区分请求的实效...

2019-08-03 22:54:56 256