qq_27639777的博客

原创 Adapter（适配器）模式

文章目录描述定义类型分类类适配器 VS 对象适配器类适配器模式对象适配器模式类适配器和对象适配器的选择时序图实现主要角色示例类适配器模式对象适配器模式适用场景优点缺点相关模式描述定义Adapter模式将一个类的接口转换成客户希望的另一个接口，从而使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。Adapter模式又叫包装器Wrapper。类型对象结构型模式分类类适配器 VS...

原创 Spark OLAP on Nested Structure Data

文章目录引言将原始数据转换为DataFrame定义数据格式读取数据为RDD将RDD[Protobuf]转换为DataFrame展平嵌套结构数据常规方法自动展平自动解析sql获取使用列获取select和aggregate列获取filter列测试获取数据源获取数据时间小结引言大多数系统中，采集的原始日志数据往往都是半结构化或者非结构化的。而对于数据分析人员来说，每次写代码去处理原始数据不够高效且有...

原创 PROXY（代理）模式

文章目录描述定义类型动机UML类图时序图实现主要角色示例适用场景优点缺点相关模式描述定义代理模式为目标对象提供一种代理以控制对目标对象的访问，又叫Proxy或Surrogate。类型对象结构型模式动机对一个对象进行访问控制。UML类图时序图实现主要角色Proxy：代理类保存一个实体引用使得代理可以访问实体；提供一个与实体类接口相同的接口，这样代理就可以用来替代...

原创 shuffle服务与客户端

文章目录简介UML类图创建过程实现ShuffleClient接口定义抽象类块传输服务BlockTransferService实现类NettyBlockTransferService初始化RPC服务RpcServer传输上下文TransportContextRPC客户端工厂TransportClientFactoryNetty服务器TransportServer获取远程shuffle文件上传shuf...

原创 Java四种引用类型

文章目录引用类型简介对象可达性判断GC Roots对象可达性判断可达性状态类型可达性判断规则状态转换Reference类定义状态变化四种引用类型实现强引用FinalReference软引用SoftReference弱引用WeakReference虚引用PhantomReference引用类型简介Java开发者肯定都很熟悉java中的4种引用类型，它们从强到弱分别是： 引用类型 ...

原创 PPT制作攻略之呈现篇

原创 maven jar包瘦身

文章目录一、将环境中已包含的依赖包的scope设置为provided二、删除未使用依赖三、去除重复依赖四、解决依赖冲突五、去除指定文件java项目中常用maven工具来进行工程管理，但经常遇到的一个问题是生成的jar包越来越大，编译一次工程越来越慢。怎么有效地去除冗余依赖，给jar包进行瘦身，是一项必备技能。下面介绍在maven工程中jar包瘦身五大法：一、将环境中已包含的依赖包的scope设...

原创 DStream中transform的理解误区与应用

文章目录简介理解上的误区transform vs Transformationtransform中有RDD的action操作transform在每个batch批次间隔间被调用实际应用简介DStream中的transform操作允许运行任何 RDD-to-RDD 函数。它能够被用来应用任何没在 DStream API 中提供的 RDD 操作。它和DStream其他普通的Transformatio...

原创 高效能人士的七个习惯

原创 微信小程序开发入门

文章目录创建云开发工程注册小程序安装开发者工具创建示例工程增加代码管理新建git项目添加代码管理跑通示例代码新建云开发环境安装js包wx-server-sdk上传云函数编译预览代码调试创建云开发工程注册小程序首先，参考官方文档申请小程序账号。然后，完善小程序相关信息，包括小程序名称、简称、头像及简介等。安装开发者工具根据自己的操作系统下载对应的开发者工具进行安装。打开开发者工具，用微信扫...

原创 树立个人品牌