bxdandmf-CSDN博客

原创 kettle 资源库表名注释（mysql版本）

alter table R_DATABASE comment '数据库连接信息';alter table R_DATABASE_TYPE comment '数据库类型表';alter table R_DATABASE_CONTYPE comment '数据库连接方式';alter table R_DATABASE_ATTRIBUTE comment '数据库特征表';alter table R_JOB comment '作业表';alter table R_JOB_ATTRIBUTE comme.

2021-02-23 19:20:21 807

原创通过KETTLE 生成MYSQL 到HIVE的建表语句

在数仓这块实在有太多想写的了，又感觉写得不专业不系统，始终没有动起手来，就零散写一些简单的小技巧和工具吧！通过KETTLE 生成MYSQL 到HIVE的建表语句：市场上这样的工具太少了，为了提升效率，简单写了一个作业来实现这个能力。逻辑大致分为三步，1.提供需要采集的业务库（mysql）的元数据读取权限，用于读取表字段信息2.通过构建SQL逻辑实现建表语句3.建表语句追加方式输出到文件先看下实现的效果吧：读取的资源库的表结构，然后生成建表语句，其中简单处理了一些字段...

2021-02-23 19:06:17 854

转载数据库SQL优化大总结之百万级数据库优化方案

原文地址：http://www.cnblogs.com/yunfeifei/p/3850440.html网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子

2017-06-15 11:18:36 226