- 博客(14)
- 收藏
- 关注
RSS订阅原创 flink中的时间属性
1：时间的几种类型（官网概念）1.1处理时间指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ）1.2事件事件指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ）2：时间窗口 flink提供了三种窗口函数分别是滚动窗口...
2022-05-23 16:31:50
5068
原创 杂乱随笔记录
7:查看hive库的大小hadoop fs -du -s -h /user/hive/warehouse/ods.db第一位为总存储量 第二位为父本存储量（默认为3个）8:查看hive中某张表的数据量大小hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'none inf 300G① 300G② 36 30
2022-05-10 10:16:26
285
原创 linux文本编辑器的使用方式
1:行首 :%s/^/your_word/2:行尾 :%s/$/your_word/3:批量注释：ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",再按Esc,就会全部注释了。4:批量删除注释：v进入可视化模式然后shift+G回到最后全选再control+v选中第一行5:撤销上一次的操作：esc+u6:跳转到行首：shift+67:跳转到行尾：shift+48:esc+e向后快速移动，esc+b向前快速移动
2022-05-10 10:10:22
535
原创 数据仓库自行整理
1:为什么构建数据仓库数据仓库的主要目的就是为了解耦合数仓的构建方便了数据的开发和重复开发的成本，将数据仓库分层次管理可以更高效更便洁的使用现有的数据，快速的完成开发工作。2:传统数据仓库的分层当然我们在实际的开发过程中经常需要依据业务开发的具体情况来配置我们数据仓库的层级，有的项目中我们将ods层进行拆分出ods和odsp层次，在ods中就是我们常说的贴源表的构建，基本和各个系统中接入的数据保持一致，而在odsp层中我们通常会对原始数据进行脱敏处理和...
2022-04-20 16:26:50
147
原创 flink打宽数据的三种方式
1：首先要区分普通表和时态表1.1：普通表：可以理解为普通表就是一张随着时间数据在不断变化的表，类似于每个停车场内现存的车辆个数，他的最大特点是数据持续发生变化但是始终保持原有的条数，类似于总量总和，这个数据是不断的发生变化的，一般来讲这张表对应的是外部数据表例如：假设 LatestRates 是一个物化的最新汇率表 (比如：一张 HBase 表)，LatestRates 总是表示 HBase 表 Rates 的最新内容。我们在 10:15:00 时查询到的内容如下所示：我们在 11
2022-01-27 14:32:01
2459
1
原创 hudi的安装
1：安装maven和git在linux上（自行百度）2：修改maven的资源镜像为阿里镜像<mirrors><mirror><id>alimaven</id><mirrorOf>central,!cloudera</mirrorOf><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/
2022-01-26 18:48:20
1032
原创 maven中＜scope＞参数＜/scope＞的配置
参数名称 具体功能 <scope>compile</scope> 默认值，表示当前依赖包要参与当前项目的编译后续测试运行时打包 <scope>provided</scope> 当前包只在编译和测试的时候使用，而不再后续的运行和打包的时候不会打包进来 <scope>test</scope> 表示当前依赖包只参与测试工作 <scope>runtime</scope> 表示
2022-01-25 18:24:31
1815
原创 flinksql实时读取kafka写入mysql
因为flink版本迭代比较迅速，在我们进行代码的编写过程中容易出现版本不兼容的问题，为此本文是在flink版本为1.12.0的基础上完成开发的。1：配置maven依赖（重要）<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
2022-01-21 09:16:49
2479
原创 flink-cdc(java案例)
flinkcdc是一款flink的开源项目，他继承了传统的cdc工具，让实时开发更适合flink语言详情见下：1：开发前的准备cdc开发所需要的maven依赖-切记flink版本的更新导致不同的工具在使用时候会存在不兼容的问题<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=
2022-01-19 18:04:42
6918
1
原创 docker和docker-compose的安装
1.安装Docker1.1第一步：安装工具包1.1.1执行结果如下1.2第二步：设置远程仓库1.3 第三步：安装1.4第四步：启动1.5第五步：查看1.6第六步：安装docker-compose$ sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/...
2022-01-19 13:32:18
707
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人