- 博客(20)
- 收藏
- 关注
RSS订阅原创 表模型字段词根命名规范
中文名 英文名 中文名 英文名 中文名 英文名 时间 _tm 手机 _mobil 库内 _in_wh 日期 _dt 邮箱 _email 通道 _ail 月份 _mon 婚姻 _mari 差异 _diff 季度 _quar 京东 _jd 操作人 _optor 创建 _create 易迅 _yx 权属 _owner
2024-04-19 14:38:05
671
原创 数据库设计规范
VARCHAR(N)，N尽可能小，因为MySQL一个表中所有的VARCHAR字段最大长度是65535个字节，进行排序和创建临时表一类的内存操作时，会使用N的长度申请内存；尽量使用UNION ALL，减少使用UNION，因为UNION ALL不去重，而少了排序操作，速度相对比UNION要快，如果没有去重的需求，优先使用UNION ALL；b）主键要选择较短的数据类型， Innodb引擎普通索引都会保存主键的值，较短的数据类型可以有效的减少索引的磁盘空间，提高索引的缓存效率;浮点数的缺点是会引起精度问题。
2024-04-19 14:32:51
800
原创 数据仓库命名规范
大部分时间周期主要用以指标数据表，指标表根据时间范围声明；贴源数据表、明细数据表与维度数据表根据数据更新周期声明。例如：worker代表员工，worker_add代表员工新增。表实际存储内容，可以命名为存储实体或者实际业务动作。命名模板：分层_数据域_表名_时间周期_后缀。后缀可不加，无详细标准。用以详细描述表信息。命名模板：分层_数据域。指标/聚合/主题数据层。指标/聚合/主题数据层。
2024-04-19 14:17:49
743
原创 DolphinScheduler-数据质量
通过自定义SQL进行检查，该SQL必须为统计SQL，例如统计行数，计算最大值、最小值等。注意事项：select max(a) as max_num from ${src_table}，表名必须这么填。
2024-04-19 14:15:01
1394
2
原创 DolphinScheduler-命名规范
DWS层项目根据数据域不同以及加工方式不同建立 DWS_域_BATCH（T+N加工(N>=1d)）以及 DWS_域_STREAM (T+N加工(N<1d))。DIM层项目根据数据域不同以及加工方式不同建立 DIM_域_BATCH（T+N加工(N>=1d)）以及 DIM_域_STREAM (T+N加工(N<1d))。DWD层项目根据数据域不同以及加工方式不同建立 DWD_域_BATCH（T+N加工(N>=1d)）以及 DWD_域_STREAM (T+N加工(N<1d))。需补充描述信息：使用表信息。
2024-04-19 14:09:00
690
原创 Python链接Mysql数据库的PooledDB.DBUtils
dbutils是Python的一个轻量级且通用的数据库连接池工具，特别是MySQL数据库。它维护了一个数据库连接池，这使得多个用户间的数据库连接更高效，因为它可以复用已经存在的连接而不是每次都创建新的连接。
2024-04-19 11:06:19
346
原创 DolphinScheduler-名词解释
在创建队列后，需要在Yarn配置队列的参数，如队列的名称（如果队列在yarn中没有创建，在该队列提交任务时会自动创建）、队列的排序方式、队列的容量等。DolphinScheduler的核心概念，它代表一个分布式任务调度系统中的一系列任务或活动的集合，这些任务或活动按照一定的规则或流程进行组织和协调。一个任务实例对应工作流中一个具体的任务，当这个任务被分配到某个工作流实例中并被启动后，就会创建一个任务实例。每个工作流实例都是工作流定义的一个具体执行实例，它包含工作流中定义的所有任务和它们的执行顺序。
2024-04-18 11:12:12
878
原创 Mysql 删除表
数据删除后，仍然存在于表空间中，只是被标记为不再使用，占用空间浪费。如果不加where过滤条件，将会删除表中的所有数据。被删除数据相关的索引也不会被物理删除，占用空间浪费。二、删除表数据，保留表结构。（表还在，数据没了）三、删除符合条件的数据。一、删除表结构和数据。
2024-04-18 11:00:43
334
原创 Informatica中组件的性能调优
原文： Joiner TransformationLookup TransformationFilter TransformationAggregator TransformationSource Qualifier Transformation。
2024-04-09 16:42:36
342
原创 TiDB性能调优
cpufreq 是一个动态调整 CPU 频率的模块，可支持五种模式。百分比值，固态硬盘降低其值，可提升内存回收时效率。百分比值，固态硬盘降低其值可以提供内存回收效率。
2024-04-09 16:28:22
360
原创 永洪BI参数设置：_KEEP_EXCEL_DATA_SPAN_设置合并单元格在导出excel时是否生效
但是在导出excel文件中，单元格是拆分的，需要设置_KEEP_EXCEL_DATA_SPAN_参数。1）_KEEP_EXCEL_DATA_SPAN_ = false ，默认值拆分单元格；2）_KEEP_EXCEL_DATA_SPAN_ = true，合并单元格。永洪BI报表开发，在使用自由式表格组件时，会对进行单元格合并操作；
2024-04-09 15:06:51
299
原创 永洪BI参数设置：_EXCEL_EXPORT_TYPE_设置导出的excel文件里是否包括dashboard
报表导出excel文件时，默认第一页是Dashboard，内容是报表页面的截图。1）_EXCEL_EXPORT_TYPE_ = 0， 导出Dashboard页和其他sheet页；2）_EXCEL_EXPORT_TYPE_ = 1，只导出 Dashboard 页；3）_EXCEL_EXPORT_TYPE_ = 2，只导出sheet页；
2024-04-09 14:56:49
383
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人