自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 spark任务报错:Too large Frame

spark报错:Too large frame问题

2023-03-30 18:36:51 641

转载 数据库索引原理详解

数据库索引原理详解

2023-03-02 16:54:41 182

转载 大数据SQL优化之数据倾斜解决案例

大数据SQL优化之数据倾斜解决案例全集

2022-01-19 11:21:59 284

原创 sql计算某个日期区间用户连续登陆最大天数

sql计算某个日期区间用户连续登陆最大天数例:测试数据如下表(user_login_table)注:对于工作日(上周五和下周一也界定为连续),则方法二适用实现思路一:1、使用开窗函数row_number() 对每个user_id 的登陆日期进行排序,得到排名rn2、然后用login_date减去排名rn,得到一个新的日期new_date字段,比如,‘2021-10-01’减去1得到‘2021-09-30’,‘2021-10-02’减去2得到‘2021-09-30’…,减完之后得到的日期相同,则说

2021-10-22 17:35:14 876

原创 bat脚本说明

bat脚本说明目标:xx系统V1.0下线,需要对市场监察部在使用帆软报表工具或自主开发的sql等产生的cpt、sql、txt文件进行扫描,获取文件中所使用到的表名,便于在2.0系统中分析表结构是否发生变更。(由于脚本是按照库名作为关键词进行匹配的,目前不支持不写表名的库)::step1:定义目标变量:第一步将脚本中需要用到的特殊变量进行定义,包含目标路径、三种固定结尾的文件名、六种数据库名称、五种特殊字符。具体代码如下:↵::step1定义...

2021-08-16 19:44:52 237

原创 时序数据库调研报告

一、时序数据库应用场景简介时间序列数据库简称时序数据库(Time Series Database),用于处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。时序数据的几个特点基本上都是插入,没有更新的需求。数据基本上都有时间属性,随着时间的推移不断产生新的数据。数据量大,每秒钟需要写入千万、上亿条数据业务方常见需求获取最新状态,查询最近的数据(例如传感器最新的状态)展示区间统计,指定时间范围,查询统计信息,例如平均值,最大值,最小值,计数等。。。

2021-04-09 18:09:30 1542

原创 DolphinDB架构、分区、内存管理

一、DolphinDB存储架构设计DolphinDB的高性能不仅仅得益于全新的设计思路,还获益于独特的技术架构。DolphinDB database 采用的是原创的架构(下文称为DolphinDB架构),并且引入了分布式文件系统(DFS),而市场上的一些数据仓库,如Teradata、IBM Netezza、Greenplum等都是采用主流的MPP(Massively Parallel Processing,大规模并行处理)架构的。那么DolphinDB架构和MPP架构有什么区别呢?通过下面两张图可以

2021-04-09 18:05:58 712

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除