自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

yangxiaobo118的博客

微信:yl308812 邮箱:3388169@qq。com

翻译 Flink笔记-架构设计

Flink笔记-架构设计基本组件栈物理部署层Runtime核心层API层架构设计细节 Flink架构体系采用的也是分层设计,在降低系统耦合度的同时,也为上层用户构建Flink应用提供了丰富友好的接口。整体从下到上分为三层,物理部署层、Runtime核心层以及API&Libraries层,而...

2019-09-13 16:58:57

阅读数 84

评论数 0

原创 Flink笔记-延迟数据处理

Flink笔记-延迟数据处理Out Of Order&LateAllowedLateness&OutputTag关于测输出(OutputTag) Flink的窗口处理流式数据虽然提供了基础EventTime的WaterMark机制,但是只能在一定程度上解决数据乱序问题。而某些极端...

2019-09-07 18:41:56

阅读数 480

评论数 0

原创 Flink笔记-Evictors数据剔除

Flink笔记-Evictors数据剔除Evictors TypeCountEvictorTimeEvictorDeltaEvictor自定义Evictor 编程过程当中,可以通过调用DataStream API的evictor()方法【可选方法】传入相应的Evictor对进入WindowFunc...

2019-08-24 21:14:24

阅读数 112

评论数 0

原创 Flink学习笔记-Trigger窗口触发

Flink学习笔记-Trigger窗口触发Flink提供的Triggers自定义Trigger 窗口的计算触发依赖于窗口触发器,每种类型的窗口都有对应的窗口触发机制,都有一个默认的窗口触发器,触发器的作用就是去控制什么时候来触发我们的聚合方法。Flink内部定义实现了如EventTimeTrigg...

2019-08-10 21:03:13

阅读数 426

评论数 0

原创 Flink学习笔记-WindowsFunction(篇二)

Flink学习笔记-WindowsFunction(篇二)ProcessWindowFunctionProcessWindowFunction抽象类ProcessWindowFunction简单例子ProcessWindowFunction with Incremental Aggregation...

2019-07-28 21:57:37

阅读数 371

评论数 0

原创 Flink学习笔记-WindowsFunction(篇一)

Flink学习笔记-窗口计算之WindowsFunctionReduceFunction 在确定窗口类型之后,便可以定义窗口数据的计算逻辑,也就是定义Window Function。Flink提供了四种类型Window Function,其中有ReduceFunction、AggregateFu...

2019-07-14 10:46:43

阅读数 205

评论数 0

原创 Flink学习笔记-窗口计算之WindowsAssigner

Flink学习笔记-Windows窗口计算WindowsAssignerWindowsTriggerEvictorLatenessOutput TagWindowsFunction Windows在Flink中作为独立的Operator存在,其可以将无限的数据集按照时间或者长度进行切分,从而完成...

2019-07-07 00:54:29

阅读数 305

评论数 0

原创 Flink学习笔记-窗口触发和乱序处理

Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理 通常来讲,由于各种原因,包含但不限于网络、背压,外部系统因素等,事件数据往往不能够及时传输到Flink系统中进行计算,因此,在开启EventTime的前提下,flink提供了一种依据watermark...

2019-06-23 14:53:11

阅读数 415

评论数 0

原创 Flink学习笔记-Timer&Watermark

Flink学习笔记-timer&watermark事件时间API摄入时间api处理时间各类时间之间的关系水位线 flink在计算过程中支持不同维度的时间概念,包含事件时间(Event Time),摄入时间(Ingestion Time),处理时间(Processing Time); 事...

2019-06-02 13:17:01

阅读数 187

评论数 0

原创 Flink学习小记-执行计划可视化实操

Flink学习小记-实操执行计划可视化执行计划可视化方式Plan Visualization ToolApache Flink Dashboard flink会根据客户端提交程序的一些参数,以及集群中机器(TaskManager)的数量去自动优化选取一个它认为合适的执行策略(使数据在DAG中流动...

2019-05-02 00:46:44

阅读数 360

评论数 0

原创 Flink学习小记-失败恢复重启策略

Flink学习小记-重启策略欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的Ka...

2019-04-29 11:16:33

阅读数 470

评论数 0

原创 Flink学习小计-编程模型

Flink学习小计-编程模型Flink的编程抽象级别有状态的流式处理级别功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少...

2019-04-16 00:30:22

阅读数 19

评论数 0

翻译 Flink学习小计-流计算DEMO

Flink学习小计---流处理DEMOFlink本地安装Flink流处理DEMO项目创建代码书写Api简单说明数据源模拟 Flink本地安装 非常简单,点击这里下载之后解压即可 Flink流处理DEMO 通过一个简单的流处理demo来感性的认识一下Flink。 项目创建 Flink提供...

2019-02-20 23:31:55

阅读数 244

评论数 0

原创 netty源码浅读 - 内存管理

netty内存管理ByteBufByteBuf数据结构ByteBuf继承体系ByteBufAllocator家族功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自...

2019-01-30 19:35:47

阅读数 304

评论数 0

原创 设计模式-责任链模式

设计模式-责任链模式对责任链模式的理解例子类图 对责任链模式的理解 责任链模式的运用可以使客户端透明的发起服务调用不需要关注具体是哪个环节做发起的调用做具体处理,同样,也方便handler的扩展。 例子 责任链模式结合模板方法模式实例: 抽象handler: public abstract cla...

2019-01-22 18:21:50

阅读数 48

评论数 0

原创 设计模式-策略模式

设计模式-策略模式简单实例不足策略枚举方式例子优势和不足 策略模式,巧妙的利用了继承和多态的特性,让应用某些算法的功能随着场景的改变而改变;可以与工厂方法模式、代理模式,享元模式搭配使用从而避免对上层暴露太多具体的策略,违背迪米特原则。 简单实例 策略接口 public interface Str...

2019-01-07 18:06:43

阅读数 38

评论数 0

原创 设计模式-代理模式

设计模式-代理模式 根据代理类是在运行前还是运行时指定,代理模式可以分为静态代理和动态代理;动态代理又可以根据实现方式不同分为:jdk动态代理、cglib动态代理,javassist动态代理。 ...

2019-01-02 18:40:15

阅读数 38

评论数 0

原创 设计模式-模板方法模式

设计模式-模板方法模式AQS中的模板方法模式 模板方法模式的优势是可以在设计时就确定算法的执行流程(往往是不可变的),以到达把控整体执行流程的目的,具体实现细节延迟到子类完成,不用关心;也可以用来在重构时,抽取子类的共同逻辑。 AQS中的模板方法模式 AQS是jdk提供的一个抽象队列同步器,...

2019-01-02 13:46:38

阅读数 61

评论数 0

原创 设计模式-工厂模式

设计模式-工厂模式工厂方法模式静态工厂(简单工厂)多个工厂抽象工厂模式 工厂模式可以屏蔽实例化的具体细节,使上下层模块实现解耦。 工厂方法模式 工厂接口 public abstract class Creator { /** * @return */ publi...

2018-12-27 17:12:48

阅读数 133

评论数 0

原创 设计模式-单例设计模式

设计模式-单例设计模式饿汉式传统类加载方式枚举方式懒汉式DCL方式内部类方式工厂方法模式 饿汉式 传统类加载方式 /** * @author qingh.yxb * @date 2018/12/26 10:38 饿汉式加载 */ public class SingletonDemo { ...

2018-12-26 16:52:31

阅读数 42

评论数 0

原创 dubbo源码分析-编解码

dubbo源码分析-编解码编解码入口编码入口解码入口消费者请求编码服务提供者解码总结 编解码保证消息能被正常的解析,从而保证服务消费的正确性。dubbo使用定长消息头的方式解决半包等通信过程中的问题。 编解码入口 NettyCodecAdapter里维护了编码解码器,在构建netty pipeli...

2018-12-05 20:57:38

阅读数 70

评论数 0

原创 dubbo源码浅析-服务消费(客户端接收处理)

dubbo源码浅析-服务消费(客户端接收处理)分析入口流程分析流程总结客户端接收相关线程状态 服务消费的最后一步,客户端接收服务端返回信息并进行相应的处理。 分析入口 同服务端接收一样,即NettyCodecAdapter内部类InternalDecoder#messageReceive...

2018-11-24 10:16:35

阅读数 65

评论数 0

原创 dubbo源码浅析-服务消费(服务端接收处理)

dubbo源码浅析-服务消费(服务端接收处理)接收流程分析分析入口 紧接上文分析下客户端发送之后,服务端的接收和处理 接收流程分析 分析入口 NettyCodecAdapter内部类InternalDecoder#messageReceived 进到这里是因为我们在开启netty...

2018-11-22 15:32:06

阅读数 88

评论数 0

原创 dubbo源码分析-服务消费(客户端发送)

dubbo源码分析-服务消费代理服务结构消费流程分析 服务消费是服务暴露和引用的目的。消费流程为通过服务引用生成的代理,经过一系列处理,带着服务名、方法、参数、版本号等一系列数据向服务提供方发送请求,服务提供方从池中拿到请求分给业务线程处理,处理完后封装成一个Rpc的Response通过tcp端...

2018-11-18 14:55:11

阅读数 88

评论数 0

原创 dubbo源码分析-服务引用

dubbo源码分析-服务引用欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的Ka...

2018-11-16 17:59:43

阅读数 68

评论数 0

原创 dubbo源码分析-注册中心

dubbo源码分析-注册中心注册中心职能服务注册流程注册入口具体流程功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的K...

2018-11-10 10:53:26

阅读数 139

评论数 0

原创 dubbo源码分析-远程暴露

接下来到了这里~ 因为我们没有配置scope,所以默认全部暴露,得到Invoker过程和本地暴露一致,不在赘述,这里主要分析远程暴露的Invoker转Exporter。 远程暴露,在Protocol为RegistryProtocol实例时,ProtocolListenerWrapper...

2018-11-02 18:47:06

阅读数 192

评论数 0

原创 dubbo源码分析-服务暴露流程

dubbo源码浅析-服务暴露环境准备课前准备服务暴露流程分析总结   dubbo的服务暴露过程实际上就是将一个服务的实现 环境准备   基于dubbo2.6.5版本 课前准备 dubbo服务暴露是依托于spring容器启动的,也可以理解为服务的暴露参与到了spring容器的生命周期当中,...

2018-10-24 22:12:51

阅读数 133

评论数 0

原创 dubbo源码浅析-开篇

dubbo源码浅析-开篇框架介绍全局组件服务端相关组件(provider)客户端相关组件(consumer) 框架介绍 全局组件 ExtensionLoader : 为dubbo的核心组件提供ioc和aop的支持,类似于spring容器的ioc、aop功能,至于为什么dubbo不直接用s...

2018-10-24 22:10:27

阅读数 83

评论数 0

转载 Java位运算原理及使用讲解

前言 日常开发中位运算不是很常用,但是巧妙的使用位运算可以大量减少运行开销,优化算法。举个例子,翻转操作比较常见,比如初始值为1,操作一次变为0,再操作一次变为1。可能的做法是使用三木运算符,判断原始值为1还是0,如果是1,设置为0,否则设置为0.但是使用位运算,不用判断原始值,直接改变值就可以...

2018-08-16 20:29:15

阅读数 77

评论数 0

转载 HSF源码剖析

前言 HSF是一个分布式的远程服务调用框架,其实我更喜欢把分布式几个字去掉,因为HSF本身并不是一个单独的服务(指一个进程),他是附属在你的应用里的一个组件,一个RPC组件(远程过程调用——Remote Procedure Call,是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络...

2018-08-16 12:00:16

阅读数 420

评论数 0

转载 Intellij IDEA使用技巧整理

代码自动补全(live templates)IDEA中代码自动补全在IDEA中通过”快捷键+TAB”实现代码自动补全。 比如System.out.println(“”);,在IDEA中可以sout + TAB实现。 常用代码自动补全快捷键快捷键说明soutSystem.out.println(“”...

2018-07-13 11:56:25

阅读数 111

评论数 0

转载 Java 之泛型通配符 ? extends T 与 ? super T 解惑

简述大家在平时的工作学习中, 肯定会见过不少如下的语句:List<? super T> List<? extends T>我们都知道, 上面的代码时关于 Java 泛型的, 那么这两个不同的写法都有什么区别呢?首先, 说到 Java 的泛型,...

2018-07-11 10:26:19

阅读数 56

评论数 0

转载 UML类图几种关系的总结

在UML类图中,常见的有以下几种关系:泛化(Generalization),  实现(Realization),关联(Association),聚合(Aggregation),组合(Composition),依赖(Dependency) 1.泛化(Generalization)【泛化关系】:是一种...

2018-07-10 10:36:51

阅读数 54

评论数 0

转载 MySQL中的锁(表锁、行锁)

原文链接https://www.cnblogs.com/chenqionghe/p/4845693.html    锁是计算机协调多个进程或纯线程并发访问某一资源的机制。在数据库中,除传统的计算资源(CPU、RAM、I/O)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性...

2018-07-10 09:52:49

阅读数 38

评论数 0

转载 脏读、不可重复读、幻读

锁就是防止其他事务访问指定的资源的手段。锁是实现并发控制的主要方法,是多个用户能够同时操纵同一个数据库中的数据而不发生数据不一致现象的重要保障。 一般来说,锁可以防止脏读、不可重复读和幻觉读。 事务并发产生的问题:        脏读:一个事务读取到了另外一个事务没有提交的数据          ...

2018-07-09 14:21:36

阅读数 73

评论数 0

原创 设计细节-----适配粒度权限设计

不积跬步无以至千里,在这里,总结一下自己最近的工作积累。前言:CRM&OA类系统的设计负责度往往是在业务上,而业务上的复杂度,通常是由不同用户在不同业务场景下的各种可操作性决定的。就是说理清了系统用户在不同场景下的操作权限,业务脉络就很清晰了。记录下,针对最近做的一套管理系统的权限...

2018-06-30 16:02:58

阅读数 138

评论数 0

原创 dubbo源码分析之provider启动流程分析

前置概念:容器(来自百度百科):Spring 提供容器功能,容器可以管理对象的生命周期、对象与对象之间的依赖关系,您可以使用一个配置文件(通常是XML),在上面定义好对象的名称、如何产生(Prototype 方式或Singleton 方式)、哪个对象产生之后必须设定成为某个对象的属性等,在启动容器...

2018-06-18 15:24:37

阅读数 172

评论数 0

转载 TCP/IP协议与Http协议的区别

TPC/IP协议是传输层协议,主要解决数据如何在网络中传输,而HTTP是应用层协议,主要解决如何包装数据。关于TCP/IP和HTTP协议的关系,网络有一段比较容易理解的介绍:“我们在传输数据时,可以只使用(传输层)TCP/IP协议,但是那样的话,如果没有应用层,便无法识别数据内容,如果想要使传输的...

2018-06-17 22:25:34

阅读数 198

评论数 0

原创 dubbo源码分析之getExtension

官方解读:返回指定名字的扩展。如果指定名字的扩展不存在,则抛异常 {@link IllegalStateException}.我理解的此类主要用作adaptive自动适配的时候,根据url的type获取实现的扩展点。getExtension方法的主要思路是-->.从cachedIns...

2018-06-17 12:52:48

阅读数 93

评论数 0

提示
确定要删除当前文章?
取消 删除