- 博客(24)
- 收藏
- 关注
RSS订阅原创 阿灰-工作一年工作总结-2021-07-02
数据中台-模型创建1.参与数据中台建设，数据中台是为了解决原本数据仓库数据关联性低，数据挖掘成本高的问题，数据之间存在壁垒我们为了解决这个问题，所以搭建了数据中台，通过创建多维模型，将之前数仓的数据进行重组，按照事实与维度进行拆分就是多维模型的两部分，比如我负责制作的网络贷款部分模型（蚂蚁花呗，微粒贷，分期乐），数据来源于三方，为了后续数据挖掘使用，需要将这三部分数据放入数据中台，我们做的了三种处理，1.数据从原系统抽取至数据中台（抽取）2.数据预处理（空值处理）3.数据标准化（码值转换，币种转换，标准
2021-07-02 11:43:20
218
原创 史上最全mysql日期计算（月初、月末、上中下旬判断、年初、年末、季初、季末）
其中 startDay 格式为 = ‘2021-01-01’，替换即可使用，如果对你有帮助的话，请多多关注，感谢大家~~select DATE_FORMAT(startDay,'%Y%m%d') #3.日期(格式YYYYMMDD)select DATE_FORMAT(startDay,'%Y-%m-%d') #4.日期(格式YYYY-MM-DD)select DATE_FORMAT(startDay,'%Y/%m/%d') #5.日期(格式YYYY/MM/DD)SET workOrWe
2021-03-23 16:36:27
7275
1
原创 mysql生成（月初、月末、上中下旬判断、年初、年末、季初、季末）创建日期维度表所需字段内容、函数、及说明
逻辑字段名称Mysql生成函数及方法返回数值备注自然日历日期select date(now())2020/11/13 9:14也可以手动输入"YYYY-MM-DD"周初标志select case when DAYOFWEEK(now()) =‘1’ then 1 else 0 end;1或0#获取一个日期是星期几（1=星期天，2=星期一…,7=星期六）,如果是周天则标记为1，不是则为0旬初标志select case DAYOFMONTH(now()) ...
2020-11-13 14:34:06
5599
原创 对于数据仓库建立多维模型思考
对于数据仓库建立多维模型思考首先要理解的一个问题就是，什么叫做多维模型？就是使用一种方法来将现实世界的事物进行抽象，概括的一种方法。对于多维的理解：像是写记叙文中需要的时间，地点，人物这几个基本要素，有这样的基本要素/限定条件，才能较为精确，完整的描述一件事情。同样对于一条数据而言，数据本身没有意义，当你从不同维度加以修饰限定，加工出来的数据，对于数据仓库来说有这就是建立多为模型的意义所在多维模型的类型多维模型分为两类，星型和雪花，给大家画个图吧：星型模型雪花模型大概这两种模型就长这
2020-11-04 14:32:53
321
原创 针对银行项目制定的表/字段命名规则概述
针对银行项目表/字段命名规则概述首先，我们要明白自己所属项目所使用的数据库类型（Mysql，Oracle，DB2,Access,SQL SERVERD等数据库），针对所使用的数据库指定相应的命名规范，以便后续维护开发。以下为几类数据库表名、字段名字符长度限制：数据库类型表名字段名SQL SERVER128个字符，临时表116个字符128个字符Oracle30个字符30个字符MySQL64个字符64个字符Access64个字符64个字符DB2
2020-10-27 14:49:36
3244
4
原创 Mysql关于自增主键，自增主键优化总结
Mysql自增主键自增主键如何创建CREATE TABLE `blog`.`Idv_Inf_Tbl` ( `Idv_Inf_No` INT(11) NOT NULL AUTO_INCREMENT, `Acct_No` VARCHAR(45) NOT NULL, `nickname`VARCHAR(45) NOT NULL, PRIMARY KEY (`Idv_Inf_No`))ENGINE = InnoDBDEFAULT CHARACTER SET = utf8;其中在建表时，在字段后
2020-10-20 14:26:05
757
原创 Mysql实际运用中表名长度限制与列名长度限制
Mysql实际运用中表名长度限制与列名长度限制数据库类型表名字段名SQL SERVER128个字符，临时表116个字符128个字符Oracle30个字符30个字符MySQL64个字符64个字符Access64个字符64个字符DB2128个字符128个字符...
2020-10-19 14:49:52
1650
原创 数据抽取：增量与全量的区别
使用场景当一个数据需要存储多份时，会出现一致性问题，所以就需要进行同步，同步分为两种：增量和全量。全量简单来说，就是在一定的周期中，把当前系统在周期时间内所有数据复制到目标表/系统这样的同步方式就叫做—>全量增量增量同步的前提是全量，然后再更具规则增量同步；增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一
2020-10-16 19:58:17
37198
3
原创 mysql插入中文数据出错！！！解决方法
mysql插入中文数据出错！！！解决方法出错原因：创建表的时候，默认编码格式不是 UTF-8;使用下列语句修改添加字段表的编码格式alter table [ tablername] convert to character set utf8;注意 ：[tablename] —> 你的表名；还有其他解决办法，就是通过修改MySQL的默认编码格式，因为我的找不到MySQL目录下的my.ini文件，所以修改不成功。可以自行百度。...
2020-10-15 14:57:21
536
原创 银行业务中 一类户 与 二类户 的区别
银行一类户和二类户的区别有些什么？首先我们可以从一类户来看，银行规定，一个人在同一家银行有且仅有一个一类户，而对于二类户来说则没有具体的限制。一下是对一类户和二类户具体区别做出解释：1、功能一类账户可以办理存款、转账、消费缴费、购买投资理财产品、支取现金等业务。二类账户可以办理存款、购买投资理财产品等金融产品，但不能存取现金、也不能向非绑定账户转账。2、限额一类账户使用范围和金额不受限制，而二类账户单日支付限额为1万元。3、可办理账户多少一类账户只能办理一个账户，而二类账户可以办理多个账户。
2020-10-13 14:24:44
2694
转载 说一下mysql中存储引擎的使用场景
MyISAM不支持事务，适用于选择密集型，插入密集型， mysql 默认的引擎该引擎基于ISAM，除了提供ISAM所没有的索引和字段管理等大量功能MyISAM还使用一种表锁机制来优化多个并发读写操作，但需要经常运行OPTIMIZE TABLE命令，来恢复被更新机制所浪费的空间，否则碎片也会随之增加，最终影响数据访问性能。还有一些有用的扩展，例如用来修复数据库文件的MyISAM Chk工具...
2019-07-29 19:40:39
278
原创 9.Mybatis学习笔记
Mybatis四、JDBC1、jdbc接口都有啥PreparedStatement Statement resultSet2、Stat与preparestat区别PreparedStatement是带预编译功能的使用的规律就是他们都是connection创建出来，但Statement是没有参数的，而PreparedStatement的参数是sql的字符串（因为它要预编译sql嘛，所...
2019-07-28 16:25:25
352
原创 8.Java设计模式学习笔记（工厂，单例，适配器，装饰器，代理，中介者）
适配器模式(适配器的作用就是将一个接口适配到另一个接口)结构型模式对适配器模式的功能很好理解，就是把一个类的接口变换成客户端所能接受的另一种接口，从而使两个接口不匹配而无法在一起工作的两个类能够在一起工作。类适配器类适配器的优点：1、由于适配器类是适配者类的子类，因此可以再适配器类中置换一些适配者的方法，使得适配器的灵活性更强。类适配器的缺点：1、对于Java、C#等不支持多重继承的语...
2019-07-28 16:22:32
321
原创 7.Java类加载器，Java垃圾回收机制（学习笔记！！！！）
垃圾回收机制6.1引用计数法为每一个创建的对象分配一个引用计数器，用来存储该对象被引用的个数。当该个数为零，意味着没有人再使用这个对象，可以认为“对象死亡”。但是，这种方案存在严重的问题，就是无法检测“循环引用”：当两个对象互相引用，即时它俩都不被外界任何东西引用，它俩的计数都不为零，因此永远不会被回收。而实际上对于开发者而言，这两个对象已经完全没有用处了。因此，Java 里没有采用这样的方案...
2019-07-28 16:18:03
294
原创 6.Java I/O (学习笔记！！！)
图片是Java.io的具体分类Java IO学习笔记在学习之前你要现学会Java的 file类 Java对文件的操作，输入/输出学起来才方便I/O中用到了许多设计模式（适配器模式和装饰者模式）1.输入字节流InputStreamIO 中输入字节流的继承图可见上图，可以看出：InputStream 是所有的输入字节流的父类，它是一个抽象类。ByteArrayInputStream、St...
2019-07-28 16:14:45
114
原创 2.Java反射机制学习笔记（自用呵呵呵！！！）
一、反射JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。要想解剖一个类,必须先要获取到该类的字节码文件对象。而解剖使用的就是Class类中的方法.所以先要获取到每一个字节码文件对应的Class类型的对象.二、反射的三种方式这里需要跟...
2019-07-28 16:03:45
123
原创 1.Java容器学习笔记（自用嘿嘿嘿！！！）
一、集合框架1、List、set区别和实现类（1）List是数组加链表构成，他有两个实现类，分别是ArrayList、LinkedList。（2）Set有两个实现类，分别是HashSet、TreeSet。（3）区别：list有序并且可重复，Set无序并且不可重复（Treeset提供有序的存储）2、ArrayList和linkedList区别，底层实现，优点（1）ArrayList适合查...
2019-07-28 15:54:49
107
原创 ABC联合索引生效问题（已更新2020-11-17）
对于复合索引：Mysql从左到右的使用索引中的字段，一个查询可以只使用索引中的一部份，但只能是最左侧部分。例如索引是key index （a,b,c）。 可以支持a | a,b| a,b,c 3种组合进行查找，但不支持 b,c进行查找 .当最左侧字段是常量引用时，索引就十分有效。以下是一些例子：(1) select * from myTest where a=3 and b=5 and...
2019-07-24 11:22:23
13561
12
原创 数据库（三范式，视图，事务隔离级别，存储过程）
MySQL设计三范式的理解目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）、第四范式(4NF）和第五范式（5NF，又称完美范式）。满足最低要求的范式是第一范式（1NF）。在第一范式的基础上进一步满足更多规范要求的称为第二范式（2NF），其余范式以次类推。一般说来，数据库只需满足第三范式(3NF）就行了。所以这里就只记录三范式相关的...
2019-07-24 09:29:10
537
原创 自己整理的MySQL有关的知识点（自用勿转！！！）
数据库的优化---------希望查询数据的速度能尽可能的快，从查询算法的角度进行优化，但是实际的数据库系统几乎没有使用二叉查找树或其进化品种红黑树（red-black tree）实现的1.全表扫描的意思就是要把表中所有数据过一遍才能显示数据结果，索引扫描就是索引，只需要扫描一部分数据就可以得到结果， 打个比方吧，在新华字典中，如果没有拼音或笔画索引，当我们查找“做”这个字就要从字典第一页一次往...
2019-07-23 17:58:31
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人