- 博客(23)
- 收藏
- 关注
RSS订阅原创 Flink：状态和检查点
实际上，Flink的状态是由算子的子任务来创建和管理的；Flink事务写指Flink先把待输出的数据保存下来暂不祥外部系统提交，待CheckPoint结束，上下游算子的数据都一致时，再提交数据；无论是Keyed State还是Operator State，Flink的状态都是基于本地的，即每个算子子任务维护着自身的状态，不能访问其他算子子任务的状态。③继续处理新流入的数据，包括刚才缓存起来的数据。flink的错机制，定期对状态进行快照，当flink故障时，可以从存储的快照恢复，保证了本地状态不会丢失；
2023-07-12 21:51:21
327
原创 Flink API
Core APIs 提供的流式 API（Fluent API）为数据处理提供了通用的模块组件，例如各种形式的用户自定义转换（transformations）、联接（joins）、聚合（aggregations）、窗口（windows）和状态（state）操作等。动态表表示不断流入的数据表，数据流是不断流入的，动态表也是随着新数据的流入不断更新的，动态表上的查询被称为持续查询，底层计算式持续不断的；是以表（Table）为中心的声明式编程（DSL）API，例如在流式数据场景下，它可以表示一张正在动态改变的表。
2023-07-12 21:18:59
165
1
原创 flink架构和安装
Client提交作业，Dispather接受到作业，并启动JobMaster，JobMaster负责本次作业的协调工作JobMaster向ResoureManger提交资源申请，JobMaster将作业的逻辑视图转化为物理执行图，将计算任务分发到多个TaskManager；每个TaskManager都是一个jvm进程，可以在单独的线程执行一个或多个task，为了控制一个TaskManager中接受多少个task，就有了task slot；启动一个长期运行的Flink集群，用户可以提交多个作业。
2023-07-08 14:10:16
127
原创 hive入门
基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张表，并提供SQL查询功能；Hive可以将SQL语句转化为MapReduce任务执行；不仅可以分析HDFS文件系统中的数据还可以分析其他存储系统；
2023-06-22 13:40:40
99
1
原创 Hbase入门
Apache 开源分布式，非关系列式数据库，位于Hadoop生态的存储层，数据存储于HDFS文件系统，ZooKeeper作为协调服务；大数据，一个表有上亿行，上百万列列式存储和权限控制为空的列不占用空间Hbase与关系型数据对比。
2023-06-22 13:29:01
53
1
原创 Hadoop入门
Hadoop 是一个开源的分布式计算和存储框架，由 Apache 基金会开发和维护。Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。
2023-06-22 09:57:15
63
1
原创 spring 事件监听机制
AbstractApplicationContext.publishEvent(ApplicationEvent event)：事件发布。事件类EvenObject、事件监听器EventListener，EventPublisher组合事件和监听器实现自定义发布。AbstractApplicationContext.refresh()：刷新容器。事件监听机制即为设计模式中的观察者模式，包含三个角色，事件、监听者、事件发布者；registerListeners():注册监听器。
2023-05-22 22:43:32
145
原创 springMVC 跨域问题解决方案
跨域问题是由同源策略引发，同源策略浏览器重要的安全策略，浏览器限制跨源http请求；源有三部分组成，协议、主机、端口号；跨源的http请求即为跨域。英文全称 Cross-origin Resource Sharing，即跨源资源共享CORS，或通俗地译为跨域资源共享）是一种基于HTTP头的机制，该机制通过允许服务器标示除了它自己以外的其他源（域、协议或端口），使得浏览器允许这些源访问加载自己的资源。
2023-04-25 22:11:19
682
原创 java引用类型和Reference类
java中有基本数据类型（值类型）和引用类型，引用类型一般是针对java中的对象来说的；java中有一个类Reference用来定义引用类型，此类与垃圾回收机制密切相关；java的四种引用类型分别是：强引用、软引用、若引用和虚引用；
2023-04-01 19:38:46
64
原创 JAVA反射笔记
在没有加载到内存之前，每一个类都作为.class文件保存在磁盘中，一旦加载到jvm内存，会在方法区创建一个Class对象，保存这个类的所有信息。通过反射方法，可以在程序运行过程中，动态获取类信息，入构造方法，属性，名称，等。
2023-03-31 23:50:30
124
原创 RedisInsight 安装 ------docker方式
1、下载镜像docker pull redislabs/redisinsight:1.11.12、容器访问挂载点权限chown -R 1001 redisinsight3、运行容器mkdir /root/redisinsight #创建挂载点目录docker run -d -v /root/redisinsight:/db -p 8001:8001 redislabs/redisinsight:1.11.1 #运行容器4、浏览器访问管理界面http://local.
2022-03-27 21:17:32
3981
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人