TRX的博客

即用户定义函数，UDF用于处理一行数据并返回一个标量值(单个值)，这个值可以是字符串、数字、日期等。即用户定义聚集函数，UDAF用于执行自定义的聚合操作，作用于多行数据，并且产生一个输出数据行，UDAF函数的输入与输出值是n:1的关系。UDTF函数的输入与输出值是1:n的关系。explode()、posexplode()、json_tuple()等。datediff()、substr()、concat()等。计算日期之间的差异、字符串处理、数据格式化等。avg()、sum()、count()等。

语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。

以上是对数的一些运算性质，其中我重点圈出了两个性质，这将是我们使用 hive sql 实现同一列数据累乘的关键；1）左边的红框中，两个底数(a)相同的对数相加 = 以a为底(N*M)的对数，其中(N*M)就是我们想要的计算结果，应该如何获取(N*M)呢？2）看右边红框的性质，我们可以利用这个性质获取(N*M)映射到 hive ，可以将同一列的相乘转为同一列的对数相加，在求真数即可;具体做法：

第 1 题 连续问题第 2 题 分组问题第 3 题 间隔连续问题第 4 题 打折日期交叉问题第 5 题 同时在线问题

一、概述1.通常情况下，作业会通过 input 的目录产生一个或者多个 map 任务。主要的决定因素有：input 的文件总个数，input 的文件大小，集群设置的文件块大小。2.是不是 map 数越多越好？答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，用一个 map 任务来完成，而一个 map 任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的 map 数是受限的。3.是不是保证每个 map 处理接近 12

一、窗口函数：窗口函数也称为OLAP函数，OLAP 是OnLine Analytical Processing 的简称，意思是对数据库数据进行实时分析处理。例如，市场分析、创建财务报表、创建计划等日常性商务工作。窗口函数就是为了实现OLAP 而添加的标准SQL 功能。0.窗口函数的分类按照功能划分：序号函数：row_number() / rank() / dense_rank() 分布函数：percent_rank() / cume_dist() 前后函数：lag() / lead()

一、行转列1.相关函数CONCAT(string A/col, string B/col…) 返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...) 它是一个特殊形式的 CONCAT()。 第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。 如果分隔符是 NULL，返回值也将为 NULL。 这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间; 注意:

官网链接：Hive官方文档一、Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*fromClause: FROM baseTable (lateralView)*Lateral View用于UDTF(user-defined table generating functions)中将行转成列，例如explode()。二、示例

一、数学函数二、聚合函数 返回类型 函数名 描述 BIGINT count(*) 计算总行数，包括含有NULL值的行。 BIGINT count(expr) 计算expr表达式非NULL的行的数量 BIGINT count(DISTINCT expr[, expr_.]) 计算expr表达式去重后且非NULL的行的数量 DOUBLE su

官网链接：Hive官方文档hive 0.13.0以后的版本，支持了隐式join标记。例如SELECT * FROM table1 t1, table2 t2, table3 t3 WHERE t1.id = t2.id AND t2.id = t3.id AND t1.zipcode = '02535'这样的写法，等同于SELECT * FROM table1 t1 JOIN table2 t2 ON t1.id = t2.id AND t1.zipcode = '02535' JOI

引用自Time 深度解析Flink对多种时间语义的支持，是它的优势之一；Flink既支持Processing Time，又支持Event Time：Processing Time 是来模拟我们真实世界的时间，其实就算是处理数据的节点本地时间也不一定就是完完全全的我们真实世界的时间，所以说它是用来模拟真实世界的时间。而 Event Time 是数据世界的时间，就是我们要处理的数据流世界里面的时间。关于他们的获取方式，Process Time 是通过直接去调用本地机器的时间，而 Event Tim

建议阅读：Working with State 状态管理及容错机制如果当前的计算依赖于前面数据产生的结果，那就需要依赖状态；比如Word Count，需要通过状态来保存前面数据的统计结果。状态类型Flink Managed State分为两类，一是Keyed State，二是Operator State。用户经常用到的是Keyed State。Keyed State几种 Keyed State 的差异具体体现在：ValueState 存储单个值，比如 Wordcount，.

CheckpointCheckpoint功能可以保证作业失败重启或升级重启后，从上次"离开"的位置继续运行；比如Flink Kafka就是通过Checkpoint记录消费的Offset记录的；如果没有开启Checkpoint，那么每次重启作业可能会重复消费数据或者丢失数据（与配置相关）；1.开启CheckpointStreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();Che

开发Flink作业过程需要用到的一些常用接口：一、创建StreamExecutionEnvironmentStreamExecutionEnvironment主要用来配置一些运行参数以及创建Source。StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();配置开启Checkpoint（方便作业失败后自动恢复）：env.enableCheckpointing(600

Flink相关的依赖：<!-- java --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> <scope>provided</scope></dependency

在业界的数据湖方案中有 Hudi、Iceberg 和 Delta 三个关键组件可供选择。一、Iceberg 是什么？Iceberg 官网中是这样定义的：Apache Iceberg is an open table format for huge analytic datasets即 Iceberg 是大型分析型数据集上的一个开放式表格式。通过该表格式，将下层的存储介质（HDFS、S3、OSS等）、文件格式（Parquet、Avro、ORC等）与上层计算引擎（Flink、Spark、.

一、数据湖的概念数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。是构建在低成本分布式存储之上，提供更好事物和性能支持的统一数据存储系统。典型分层如下图所示：最底层为存储层：一般依赖HDFS或者公有云存储（比如S3）保存数据；数据格式为开放格式，比如Parquet或者ORC； 中间层为数据表抽象层：它的关键作用在于提

Apache Spark 提供了一套 Web 用户界面(UI)，您可以使用它们来监视 Spark 集群的状态和资源消耗。如：一、Jobs 页面Jobs 页面展示了Spark应用程序中所有作业的摘要信息以及每个作业的详细信息页。摘要页面显示整体信息，例如所有作业的状态、持续时间和进度以及整个事件的时间线。点击某个job将进入该job的详细信息页面，会进一步显示时间时间线、DAG可视化效果以及作业的所有stages。Jobs 页中显示的信息是：User: 当前Spark任务提

官网链接：Monitoring and Instrumentation - Spark 3.2.1 Documentation有几种方法可以监控Spark应用程序：Web UI、metrics 以及外部工具。Web UI每个SparkContext都会启动一个web UI，其默认端口为4040，并且这个web UI能展示很多有用的Spark应用相关信息。包括：一个stage和task的调度列表 一个关于RDD大小以及内存占用的概览 运行环境相关信息 运行中的执行器相关信息你只需打

设置eventTime的方式分两种情况：升序数据提取时间戳 直接使用：.assignAscendingTimestamps(_.timestamp * 1000L) 乱序数据提取时间戳，有三种种构造方式(1.10版本只有前两种，flink版本1.11以后建议使用方式三) 方式一：AssignerWithPeriodicWatermarks 周期性的生成 watermark，默认周期是200ms，也可以通过setAutoWatermarkInterval设置周期时间 常用的实现类是：B