Jun2613的博客

数据分析之HIVE SQL第一章 常用函数第一章 常用函数1.explode转置，行转列函数:explode(array),数组中的每个元素生成一行；2.split切分，按照给定字符对字符串进行切分，split（express,‘string’）3.regexp_replace正则替换，regexp_replace(express,‘string1’,‘string2’)，将表达式中...

数据上报、落表、分析全流程解读

一、概念增量表：记录更新周期内新增的数据，即在原表中数据的基础上新增本周期内产生的新数据；全量表：记录更新周期内的全量数据，无论数据是否有变化都需要记录；拉链表：一种数据存储和处理的技术方式，可以记录数据的历史信息，记录数据从开始一直到当前所有变化的信息。二、举例详解增量表：以页面访问数据表为例，假设该表从2020-06-01开始记录数据，按天更新，分区为dt。2020-06-01产生了三条访问数据，如下表：2020-06-02首页和商详页又产生了2条访问数据，该两条即为2020-06-