cenjianteng-CSDN博客

原创 Flink实战二 Flink的基本架构和原理

组件栈API & Libraries层基于流处理的：CEP（复杂事件处理库）、SQL&Table库基于批处理的：FlinkML（机器学习库）、GElly（图处理库）等API层： DataStream API（流计算）、DataSet API（批计算）Core层支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务...

2019-08-10 18:34:34 3640

原创 Flink实战一 Apache Flink的简介

1.Flink是什么？Apache Flink 是一个框架和分布式处理引擎，用于在无界和有界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。2.Flink的特点Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等...

2019-07-27 14:58:06 2577

原创 Guava Cache LoadingCache 之 refreshAfterWrites和expireAfterWrite区别使用说明

<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>23.0</version></dependency>import java.util.HashMap;...

2019-06-14 16:23:59 10370

原创 Java设计模式之责任链模式 Java实现责任链 Spring实现责任链

责任链模式：一次请求的调用，需要责任链中的一个或多个协助处理，依次经过调用责任链对象。（可以控制执行顺序）例如：过滤器、拦截器等

2022-01-27 14:53:47 1275

@Autowired private RequestMappingHandlerMapping requestMappingHandlerMapping; @Test public void get() { Map<RequestMappingInfo, HandlerMethod> map = requestMappingHandlerMapping.getHandlerMethods(); for (Map.Entry&lt...

2022-01-27 14:50:41 679

原创 Java设计模式之外观模式（门面模式）附代码实现

外观模式（门面模式）：隐藏系统的复杂性，向客户端提供一个简单易用的接口。比如有一组接口，如果客户端需要一个一个进行组装调用比较麻烦不太友好，此时Facade类对这些接口进行封装，提供简化易用的接口给客户端。客户端直接跟Facade打交道即可。public class FacadePattern { private Service1 service1 = new Service1...

2020-05-05 22:47:07 260

原创 Java设计模式之观察者模式附代码实现

观察者模式：对象间存在一对多关系，当一个对象被修改时，自动通知其他的依赖对象public class ObserverPattern { public static void main(String[] args) { Subject subject = new Subject(); Task1 task1 = new Task1(); ...

2020-04-28 23:10:12 291

原创 Java设计模式之模板模式附代码实现

模板模式：定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。模板方法使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。使用场景：1、定义整个算法的步骤结构，实现交给客户端来完成。2、几个类的算法基本相同，只有一些细微的差别时。public class TemplatePattern { public static void main(String[] args)...

2020-04-28 23:08:35 238

原创 Java设计模式之策略模式附代码实现

策略模式：一个类的行为或其算法可以在运行时更改。应用场景：1、当有很多类似的类，但执行某些行为的方式不同时。 2、动态地在几种算法中选择一种。public class StrategyPattern { public static void main(String[] args) { doOperation doOperation = new doOperation(...

2020-04-28 23:07:13 308

原创 Java设计模式之装饰器模式附代码实现

装饰器模式：在不改变原有对象结构的基础上，向现有对象添加扩展新功能。应用场景：动态扩展或撤销一个类的功能。public class DecoratorPattern { public static void main(String[] args) {// MobilePhone xiaoMiMobilePhone = new XiaoMiMobilePhone();...

2020-04-28 23:04:43 228

原创 Java设计模式之适配器模式附代码实现

适配器模式：是作为两个不兼容的接口之间的桥梁。比如美国电压110V，中国电压 220V，就要有一个适配器将 110V 转化为 220V。应用场景：接口与其他代码不兼容时public class AdapterPattern implements ChinaVoltage { private AmericaVoltage americaVoltage; @Over...

2020-04-25 15:22:07 293

原创 Java设计模式之享元模式附代码实现

享元模式：用于减少创建对象的数量，以减少内存占用和提高性能。用唯一标识码判断，如果在内存中有，则返回这个唯一标识码所标识的对象。使用场景： 1、系统有大量相似对象。 2、需要缓冲池的场景。import java.util.HashMap;import java.util.Map;public class FlyweightPattern { private String ...

2020-04-25 14:40:50 156

原创 Java设计模式之原型模式浅拷贝和深拷贝附代码实现

原型模式用于创建重复的对象，同时能保证性能。类中的字段为8种原生数据类型、包装类型、String、BigInteger，通过实现Cloneable接口并且覆盖Object.clone方法来复制当前对象的克隆，利用jvm的克隆机制完成对象的拷贝，这种方式即是浅拷贝。如果是自定义数据类型或其他可变的类型（Date...），这些类型都要实现Cloneable接口并且覆盖Object.clone...

2020-04-25 14:27:52 162

原创 Java设计模式之建造者模式附代码实现

建造者模式一个复杂的构建与其表示相分离对象内部属性本身相互依赖与不可变对象配合使用方式一public class BuilderTest { public static void main(String[] args) { UserBuilder userBuilder = new DefaultUserBuilder(); D...

2020-04-22 23:12:28 231

原创 Java设计模式之抽象工厂模式附代码实现

public class AbstractFactoryTest { public static void main(String[] args) { AltoFactory altoFactory = new AltoFactory(); altoFactory.getCarType().carType(); altoFactory.ge...

2020-04-22 00:20:30 243

原创 Java设计模式之工厂模式附代码实现

工厂模式定义一个创建对象的接口，让子类决定实例化哪一个工厂类。主要解决接口选择的问题。/** * created by: cenjianteng * 2020/4/20 22:27 */public class CarFactoryTest { public static void main(String[] args) { //简单的工厂例子 ...

2020-04-21 23:33:23 167

原创 Flink实战三 Flink的安装与部署及使用

安装Flink1.91、准备：jdk 1.8 SSH免密登录三台以上机器（我准备了五台）：centos7-1、centos7-2、centos7-3、centos7-4、centos7-5 zookeeper:centos7-3、centos7-4、centos7-5 ...2、从官网下载flink：https://flink.apach...

2020-04-20 22:02:11 1444

原创 Java设计模式之单例模式，单例模式的序列化与反序列化附代码实现

什么是单例模式？保证一个类在内存中只存在一个对象，并且只提供一个对外访问对象的方式。单例模式的几种实现方式1、懒汉模式Lazy 初始化：是程安全：是public class Singleton { private static Singleton instance; private Singleton (){} public stat...

2020-04-20 22:01:32 221

原创 Flink启动报错UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.

2019-09-03 22:20:38,162 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOEx...

2019-10-20 21:45:24 11840 1

原创 java1.8常用的Lamdba表达式 Stream API

Lambda表达式是什么，有什么用？Lambda表达式是一个匿名函数，运用Lambda表达式可以极大的提高编程效率和程序可读性。Java 8 中的 Stream 是对集合（Collection）对象功能的增强，对集合进行各种非常便利、高效的聚合操作，或者大批量数据操作。Stream 可以理解为高级版本的 Iterator。同时它提供串行和并行两种模式进行汇聚操作，并发模式能够充分利用多核处...

2019-08-15 23:50:18 2662

原创 HBase删除数据的原理

HBase 的删除操作并不会立即将数据从磁盘上删除，删除操作主要是对要被删除的数据打上标记。当执行删除操作时，HBase 新插入一条相同的 KeyValue 数据，但是使 keytype=Delete，这便意味着数据被删除了，直到发生 Major compaction 操作时，数据才会被真正的从磁盘上删除，删除标记也会从StoreFile删除。Time To Live (TTL)Col...

2019-07-21 10:44:59 5681

转载 HBase架构和原理

HBase简介分布式、可扩展的大数据存储版本化的非关系数据库随机访问，实时读/写大表 - 数十亿行乘以百万列面向列数据库 K-V 存储HBase和Hadoop / HDFS有什么区别？HDFS是一种分布式文件系统，非常适合存储大型文件。它不是通用文件系统，并且不提供文件中的快速单个记录查找。HBase建立在HDFS之上，为大型表提供快速记录查找（和更新）。HBas...

2019-07-17 21:29:31 1394

原创 zookeeper的安装及简单介绍

zookeeper是什么？ZooKeeper是一种用于分布式应用程序的分布式开源协调服务。ZooKeeper的实现非常重视高性能，高可用性，严格有序的访问。zookeeper中的leader，如果连接节点失败，自动恢复，zk服务启动时完成leader选举。zookeeper的读取很快。写入需要告知leader，leader对每个server进行分发写入。zookeeper数据模...

2019-06-22 00:46:38 198

原创什么是hadoop?centos7安装hadoop-3.2.0

什么是hadoop?(官网解释)Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，从而在计算机集群之上提供高可用性服务，...

2019-06-16 11:47:31 477

原创 FutureTask设置方法执行的超时时间

import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concurrent.FutureTask;import java.util.concurrent.TimeUnit;import java.util.concurrent.TimeoutEx...

2019-06-13 16:37:40 5130

cenjianteng的博客