桥~-CSDN博客

原创基础篇（四）：Flink 状态管理

一、基础概念理解：state（状态）：相同于本地变量，维护计算过程中需要存储的中间数据有以下两种类型：operator state（算子状态）keyed state（键控状态）state backend（状态后端）：负责状态的存储(checkpoint方式)、访问按存储方式有以下形式：MemoryStateBackend：将状态当作Java的对象存储在TaskManager JVM进程的堆上FsStateBackend：将状态存储在本地的文件系统或者远程的文件系统如HDFSRocks

2021-02-21 19:16:15 224

原创基础篇（三）：Flink window窗口计算

一、基本概念理解1、窗口：是将无限的数据流根据时间语义维度切割成一个有限大小的桶，然后对这个桶内的数据进行计算2、窗口分类：滚动窗口 tumbling window描述：按照固定的时间长度对数据流切分，且窗口之间不会出现重叠滑动窗口 sliding window描述：由固定的窗口长度和滑动间隔组成，窗口之间有重叠，通常滑动间隔要小于窗口长度会话窗口 session window描述：在一定的时间长度timeout没有接收到数据，则生成一个新的窗口全局窗口 g

2021-02-17 16:52:49 718

原创 CentOS安装（配置）

一、网络配置1、查看虚拟网络编辑器2、修改网络IP3、查看网关4、通过ipconfig 命令查看windows中VMnet85、修改IP地址vim /etc/sysconfig/network-scripts/ifcfg-ens33，然后wq保存退出6、执行systemctl restart network，重启网络7、ping www.baidu.com看网络是否连上，若连不上，记得reboot重启虚拟机二、主机名配置1、查看当前主机名 hostname2、修改主机

2021-01-04 23:12:00 227 1

原创 CentOS安装

CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发行版本，完全免费，支持yum命令在线更新系统。本篇围绕CentOS7.5版本进行安装。1、下载CentOS7.5的.iso镜像文件CentOS-7.5-x86_64-DVD-1804.iso，4.16G还是比较大的，可以通过镜像地址下载链接: http://mirrors.sohu.com/centos/7.5

2021-01-03 22:56:00 133

原创基础篇（二）：Flink DataStream API使用

前言流式处理系统通常需要支持无限数据流的处理，则会采用数据驱动的处理方式。通俗点讲，提前设计好数据的处理算子，数据到达后直接执行，而表达这套计算逻辑使用DAG（有向无环）图Word Countpublic static void main(String[] args) throws Exception{ // 1、创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(

2020-11-29 22:14:37 258

原创基础篇（一）：Flink的定义、运行架构

###一、定义Flink是一个分布式大数据处理引擎，可对有界或无界的数据流进行有状态或无状态的计算，具有低延迟、高吞吐、事件精确一次处理的特点。需要理解的基础处理语义streams（数据流）有界数据流是指批处理无界数据流是指实时流处理，flink的世界观里一切皆是流state（状态计算）需要记录中间结果信息的计算操作，有状态的作用：1）输出多个事件处理后的结果，根据最新输入的事件及已处理完事件的状态值，更新当前最新的状态2）容错性通过持久化存储，保证系统运行失败或者挂掉的情况下

2020-11-29 20:25:11 420

原创 SparkStreaming的编程模型及原理的认识

SparkStreaming的编程模型及原理的认识数据结构DStream ：SparkStreaming中使用的数据结构，代表一个连续的数据流，是由一系列带有时间维度的RDD组成RDD：只读、有分区的数据集，利用有向无环图（DAG）记录数据结构之间的变化，属性如下：属性含义使用场景分区列表— partitios每个分区存储RDD的一部分数据分区位置列表—preferredLocations记录每个分区数据存储在哪台机器节点上重写方法getPreferredLoca

2020-11-22 23:12:54 183

firefish009的博客