2020年06月_wending-Y

11月 09月 08月 07月 06月 05月 04月

原创 Kudu Vs Hbase Vs Hadoop

Kudu Vs Hbase Vs HadoopHadoop在离线批量环境下分析能力最强，在随机查询条件下表现最差，适合N+1这种场景Kudu 大数据量下实时分析能力强，在随机查询下拥有较低的延迟，适合实时写，实时分析的场景hbase 随机读写能力最强，批量分析能力最差，不适合分析场景...

2020-06-28 20:14:44 432

原创一图理解 Hbase Bloom Filter 的使用

结论Bloot Filter能在大数据量的情况下判断元素在集合中是否存在如果过滤器判断不存在则一定不在集合中如果判断在，则有一定的误差，实际可能不在集合中场景hbase 在查询的时候通过Filter就可以高效的判断数据是否在block之中，提高查询效率图解...

2020-06-23 20:59:35 399

Statestate是实现flink一次性语义的核心，在1.9之后增加了API来读取state写Stateimport org.apache.flink.api.common.state.ListState;import org.apache.flink.api.common.state.ListStateDescriptor;import org.apache.flink.api.common.typeinfo.Types;import org.apache.flink.api.java.Da

2020-06-22 23:48:21 453

原创 Kafka 一次性语义实现

幂等生产者会分配生产者ID,序列号pid,seqbroker 维护<Pid,分区> 的序列号新序列号=老序列号+1 接受新序列号<老序列号+1 丢弃，证明数据重复了新序列号>老序列号+1 抛出乱序异常，证明中间的数据丢失了只能处理单个topic,单分区的,消息不重复事务保证了原子性，所有的消息要么全部成功，要么全部失败生产者配置//幂等producerProps.put("enable.idempotence", "true");//事务IDprodu

2020-06-22 12:19:19 441

原创 Netty 线程模型

单线程模型所有的操作都是一个NIO线程上实现通过Accepetor接收客户端连接连接完成后通过Dispatcher把消息分发到handler上进行处理缺点一个Nio线程在高并发场景下，性能不无法支撑多线程模型一个线程负责接收TCP连接IO读写由单独的线程池来处理一个NIO线程同时处理N条链路一个链接对应一个NIO线程主从Reactor线程模型负责TCP连接的是一个Acceptor线程池Acceptor线程池仅仅负责认证认证成功后，将channel注册到后端的IO线程池，交给

2020-06-21 23:02:32 240

原创 Java 零拷贝

正常拷贝Kafka 消费者消费数据，从文件中读数据流程产生4次上下文切换，4次数据复制使用零拷贝2次上下文，3次复制Java示例程序public class Copy { public static void main(String[] args) { File file = new File("/xx/te.txt"); try (FileInputStream fileOutputStream = new FileInputStream(fil

2020-06-21 20:16:45 379

原创 Kafka Log结构

TopicPartitionLog每个partition对应Loglog和index对应关系为稀疏索引

2020-06-21 15:34:16 266

原创 Flink源码-11-Source实现

Source从源码中学习例子Kafka实现类结构RMQ实现从上面两个实现来看，主要实现了以下接口SourceFunction source接口RichFunction 取到上下文的一些信息CheckpointedFunction 完成checkpoint功能CheckpointListener checkpoint监听器自定义Source实现这上面的几个接口public class TestSourceFuncitonn implements SourceFunction

2020-06-10 21:47:01 350

原创 Flink源码-10-CheckPoint实现

CheckPointCheckPoint 是实现一次性语义的核心，接下来我们看一下如何实现CheckpointCoordinatorcheckpoint协调器单线程，固定周期去触发checkpointprivate ScheduledFuture<?> scheduleTriggerWithDelay(long initDelay) { return timer.scheduleAtFixedRate( new ScheduledTrigger(), in

2020-06-10 21:07:15 305

原创 Flink源码-9-Flink sql翻译Job及优化

翻译过程参考文档sqlparservalidate优化器规则优化codegenSQLAST抽象语法树表示用SqlNode逻辑树RelNode逻辑树RelNode物理执行计划Flink算子示例SQLSELECT *FROM ( ( SELECT * FROM OrderA WHERE user < 3 ) UNION ALL ( SELECT * FROM OrderB WHERE prod

2020-06-09 23:44:48 366

原创 Flink源码-8-JobVertex生成JobGraph

JobGraph通常是由DataStream生成的，然后转换生成的JobGraph我们可以直接JobVertex--------->JobGraph 来深入理解这个过程JobVertex //生成一个顶点 final JobVertex sender = new JobVertex("Sender"); sender.setParallelism(parallelism); //设置反射类 sender.setInvokableClass(TestingAbstra

2020-06-09 22:45:57 519

原创 Flink源码-7-Scheduler

代码示例public class WorldCount { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //所以算子的并行度为1 //方便调试 env.setParallelism(1)

2020-06-08 20:54:12 351

原创 Protobuf序列化例子

protoc是一个灵活，高效，结构化折数据序列化框架，支持数据结构化一次，到处使用。前置工作安装protoc ，mac比较方便，直接命令braw命令行查看版本号下载版本号对应的jar包proto文件syntax = "proto2";package protoc;option java_package = "com.protoc";option java_outer_classname = "book";message Person { required string n

2020-06-05 23:25:40 283