大数据
flicker_ever
这个作者很懒,什么都没留下…
展开
-
SQL实现自定义周
需求业务要求把周五到周四算一周,跨年周按照年截断,各自为独立的一周思路找出日期所在的1月1日那天为星期几,记录为变量a由于周五到周四算一周,所以用7减去5,得到2偏移量offset = ( a + 2 ) % 7要计算的 wk = ( (date - 当年元旦) + offset ) / 7 + 1PostgreSQL如下left(biz_date,4)||'WK'||right('0'||((extract(doy from biz_date::date) - 1 + (3 + ex原创 2021-11-25 11:50:19 · 1716 阅读 · 0 评论 -
HDFS循环创建文件夹
需求:要求连续建立60个分区文件夹,如果原本就存在该文件夹就跳过,不存在就建立#!/bin/bashdate1=$(date -d '-1 day' '+%Y%m%d')for((i=0;i<=59;i++));do ds=`date -d "-$i day $date1" +%Y%m%d` hadoop fs -test -e /user/hive/warehouse/table_name/ds=$ds if [ $? -eq 1 ] ; then hadoo原创 2021-03-24 15:05:52 · 311 阅读 · 0 评论 -
数据中台的产生原因及概述
数据中台的产生原因及概述中台概念来源于阿里(提出"大中台,小前台"的概念),其产生的核心思想是“共享”和“复用”。产生原因随着企业业务的不断发展,公司内部积累了大量的业务数据,而企业缺乏治理这些数据资产的有效手段。由于企业的业务系统众多,数据存储分散,大量的业务数据都分散在各个部门中,部门间信息不互通,数据不共享,仅仅在有业务需求的场景中才会产生部分的数据共享,难以对全局的数据实现挖掘分析。企业掌握的大量数据难以实现其真正的价值,在如今的大数据时代,各个业务部门的数据应当打通并结合外部数据实现整体的原创 2020-07-22 13:43:54 · 1337 阅读 · 0 评论