- 博客(18)
- 收藏
- 关注
RSS订阅原创 DataStream API 四 之 Flink DataStream编程
DataStream API 四 之 Flink DataStream编程1.分布式流处理基本模型2.流应用开发步骤3.数据类型4. Connector5. Execution environment6. 参数传递7.配置并⾏度8.Watermark9.Checkpoint10.State11. Data Source11.111.2 自定义Source12.Transformations13.Window13.1窗⼝处理函数13.2 window /区间 Join13.3 Data Sink1.分布
2021-08-15 23:21:42
210
原创 Flink Streaming SQL
Flink Streaming SQL0.核心概念0.1 流 VS 表0.2 动态表0.3 流表⼆像性1.处理流程1.1流转换为动态表1.1.1 追加模式1.1.2 更新模式1.2 动态表的查询1.2.1 连续查询1.2.3 动态表转换为流2. Flink Stream SQL 编程2.1 开发流程2.2 TableEnvironment2.3 Catalog2.4 数据类型2.5 TableSource( 数据源)2.6 DDL2.7 Connector & Formats2.8 DML2.9 T
2021-08-15 23:08:39
336
原创 Flink运⾏时原理深度分析
Flink运⾏时原理深度分析一 Flink Runtime 整体架构二 Flink系统架构2.1 RPC2.1.1RPC角⾊2.1.2 源码方法三 Flink任务执⾏3.1 任务链（task chaining）3.2 Task Slot 和资源3.3 SlotSharingGroup 与 CoLocationGroup3.4 执⾏图（DAG）3.5 逻辑调度四 Flink任务调度4.1 作业状态4.2 物理调度五 Flink 内存管理机制5.1内存模型5.2 内存设置5.3 内存管理5.4 序列化⽅案5.4
2021-08-15 20:48:18
141
原创 Flink 状态管理和容错
Flink 状态管理和容错一 有状态的计算1.1 原生方式1.2 托管方式1.2.1keyed state1.2.1.1 ValueState1.2.1.2 ListState1.2.1.3 ReducingState1.2.1.4 MapState一 有状态的计算状态存在的两种⽅式1.1 原生方式1.2 托管方式1.2.1keyed state保存state的数据结构1.2.1.1 ValueState1.2.1.2 ListState1.2.1.3 ReducingState
2021-08-15 18:15:28
127
原创 DataStream API 三 之Windows 窗口计算
@[TOC](DataStream API (三)-Windows 窗口计算)Windows Assigner二级目录三级目录Windows FunctionTrigger 窗口触发器Evictors 数据剔除器延迟数据处理连续窗口计算Windows 多流合并
2021-08-04 23:55:15
169
原创 DataStream API 二 之 时间概念 与 Watermark
时间概念 与 Watermark一.时间概念指定二.EventTime 和 Watermark2.1 指定Timestamps 生成 Watermark2.1.1 在 SourceFunction 中2.1.2 用 Flink自带的 Timestamp Assigner2.1.2.1 用 Ascending Timestamp Assigner2.1.2.2 用 固定时延间隔的 Timestamp Assigner2.1.3 自定义Timestamp Assigner2.1.3.1 用 Periodic W
2021-08-04 23:48:08
97
原创 DataStream API 一 之 DataStream 编程模型
DataStream 编程模型一.DataSource1.1 内部数据源1.1.1 文件 数据源1.1.2 Socket 数据源1.1.3 集合 数据源1.2 外部数据源1.2.1 数据源连接器1.2.2 自定义数据源连接器二.DataStream Translate2.1 Single-DataStrem2.1.1 Map2.1.2 FlatMap2.1.3 Filter2.1.4 KeyBy2.1.5 Reduce2.1.6 Aggregations2.2 Multi-DataStrem2.2.1 Un
2021-08-03 23:46:36
134
原创 【9】run_demo.sh
#!/usr/bin/env bashwork_dir=$(cd `dirname $0`;pwd) #获取当前脚本所在绝对路径，赋给全局变量cd ${work_dir}kinit -kt /data/disk1/hypers-sr/hypers-sr.keytab hypers-srjira=645start_date=20200531end_date=20200731id_type="'idfa','imei'"beeline -u "jdbc:hive2://dmp-utili
2020-11-10 16:20:33
166
原创 【8】shell 脚本入门
参考链接：https://www.cnblogs.com/zhang-jun-jie/p/9266858.html【1.基本结构】 #！/bin/bash【2.执行】 sh test.sh chmod +x test.sh ./test.sh ##vim编辑文档默认不带有执行权限【3.日期】 date "+%Y-%m/%d %H:%M:%S" ##2020-03/21 19:31:15 date "+%Y-%m/%d %H:%M...
2020-11-10 16:19:05
166
原创 【1】linux 操作系统认知
【A.linux操作系统的体系结构】 Linux操作系统一般有四个主要部分：内核、shell、文件系统和应用程序。 内核:进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性; shell:系统的用户界面，提供了用户与内核进行交互操作的一种接口,命令解释器; 文件系统:文件存放在磁盘等存储设备上的组织方法.【B.linux操作系统的目录结构】 / 根目录 ~ 家目录 home 一般在用户名/【C....
2020-11-10 16:16:54
72
原创 【2】常用的基本命令
【1】man 打印出相应命令的使用帮助信息 man ls man touch【2】ls ls -l ##详细信息 ls -a ##所有目录及文件（包含隐藏的） hdfs dfs -ls hdfs dfs -ls hdfs://nameservice1/user/hive/warehouse/app.db/sr_tmp_opening_no_vip_793/ hdfs dfs -getmerge hdfs://nameservice1/user/hiv...
2020-11-10 16:14:48
111
原创 【6】ETL上线常用命令
【1.saprk 查看队列】mapred queue -info root.hypers.hypers-sr-showJobsmapred queue -info root.hypers.hypers-insight -showJobsmapred queue -info root.hypers.hypers-a -showJobs【2.移动队列】yarn application -movetoqueue appId -queue sr【3.kill application】yarn appl
2020-11-10 16:13:04
299
原创 【5】查看网络信息和网络监控命令
【1.ifconfig】【2.ping】【3.telent】远端登入 telnet 192.168.0.5【4.nc】 nc -vzw 2 10.0.1.161 1-100(扫描目的主机1-100TCP端口情况) ##v指令执行过程 ##z使用0输入/输出模式，只在扫描通信端口时使用 ##w<超时秒数> 设置等待连线的时间 ##u 使用UDP传输协议。【5.nmap】 ...
2020-11-10 16:10:41
248
原创 【4】运维常用系统状态命令
【1.uptime】查看报告系统运行时长及平均负载【2.ps】 ps -aux 查看进程 ps -ef ——查看所有的进程 ps -ef | grep java——把所有的进程进行过滤，只查看java的进程【3.kill】 kill -9 PID kill -3 PID【4.top】查看CPU(内存)使用情况 top [-] [d delay] [q] [c] [S] [s] [i] [n] [b] d : 改变显示的更新速度，...
2020-11-10 16:07:27
166
原创 【3】文档编辑查找命令
【1.find】 find path -option [ -print ] [ -exec -ok command ] {} \; find . -name "*.c" ##.代表当前目录，在当前目录下查找以.txt结尾的所有文件和目录 find . -type f #d目录、c字符装置文件、b区块装置文件、p具名贮列、f一般文件、l符号连接、s socket、-pid n:process id 是n的文件 fin...
2020-11-10 15:48:33
349
1
原创 线程面试问题
1. 进程进程是资源（CPU、内存等）分配的基本单位，它是程序执行时的一个实例。程序运行时系统就会创建一个进程，并为它分配资源，然后把该进程放入进程就绪队列，进程调度器选中它的时候就会为它分配CPU时间，程序开始真正运行。2. 线程线程是一条执行路径，是程序执行时的最小单位，它是进程的一个执行流，是CPU调度和分派的基本单位，一个进程可以由很多个线程组成，线程间共享进程的所有资源，每个线程有自己的堆栈和局部变量。线程由CPU独立调度执行，在多CPU环境下就允许多个线程同时运行。同样多线程也可以实现并发
2020-05-15 14:28:09
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人