- 博客(6)
- 收藏
- 关注
RSS订阅原创 索引二- 效率提升OR索引失效
数据仓库性能优化是我们常常不可避免的问题。因为我们常常要面对大量的数据。当预估查询所得的结果集低于全表的5-10%, 考虑使用索引进行查询。下面我们介绍下优化索引用以提升查询效率的几点技巧。 1. where，order by子句中使用索引列， 索引列上不可加计算，不可使用<>（用大于小于计算，否则查询会放弃使用索引），避免使用or（可以使用两个查询，将结果集UNION A...
2018-11-06 15:39:07
201
原创 锁、隔离级别、死锁
事物有四个特性：ACID，分别指的是原子性，一致性，隔离型，持久性。 原子性： 事物中的所有操作同时成功或者失败。 一致性：事务前后数据库的信息需要是一致的。 隔离性：多个事物并行执行 的结果与这些事物串行执行的结果相同。 持久性：事物对数据库的操作时持久的，在数据库遭到破坏之后，数据是可以恢复的。 在实际生产环境中为了提高效率，我们需要尽可能高的提升并发性能，那么如何控制并发？我们需要...
2018-11-06 15:35:38
260
原创 索引（1）-概念及分类
索引是对表中的一列或者多列的数据进行排序的物理结构 索引的分类方法主要有下面几种： 普通索引：一般创建索引时，默认为普通索引。一张表上可以建立多个普通索引，如果表上有多个索引，则在执行查询 操作时，优化器来选择适合的索引。普通索引允许null值。普通索引可以提升查询效率。 唯一索引：索引列在表中不能有重复值。主键索引是唯一索引的特定类型。与之相对的是非唯一索引，非唯一索引在索引列有...
2018-10-24 17:36:14
1179
原创 ETL数据抽取 全量 增量
在根据用户需求选择需要抽取的字段之外，我们通常需要选择采用全量或者增量的方法进行数据抽取。全量抽取指的是从源系统中将表内数据不加行的筛选，全部抽取；增量抽取指的是只抽取前次抽取之后发生变化或者新增的数据（增量抽取的数据难度较大，要保证数据不能多抽取，漏抽取）。 在源表数据量较大，大部分数据一经入库改动可能较小时一般采用增量抽取的方式；对于表数量较小或者维表这类情况会进行增量抽取。 ...
2018-09-12 17:30:52
4543
原创 数据仓库ETL 概念及实现<1>
ETL是数据仓库的第一步，指的是数据的EXTRACT、TRANSFER、LOAD三个步骤，解释分别是从操作系统中抽取，数据转化，入库。 数据抽取： 1. 一般来讲，数据抽取需要减少对源系统的影响，和其他团队的依赖，并减少网络依赖； 2. 抽取过程中需要过滤掉数据仓库不需要的数据记录以及字段，这样会减少文件抽取、后续入库、转换的压力。对于记录数可以使用增量、全量的抽取方式，字段...
2018-09-12 10:57:17
1802
原创 数据库 、数据仓库、数据集市的区别与联系
一些刚进公司的同学有时候会问我，我们的数据库信息为什么有冗余呢，这个表的设计和之前学校学习的不一样呢，为什么不符合三范式呢等等。下面我会依次介绍下数据库、数据仓库、数据集市的概念以及他们之间的区别。 首先是概念： 数据库：按照数据结构来组织、存储、管理数据的建立在计算机存储设备上面的仓库。数据库一般适用于操作型系统。因为符合三范式的设置，数据的一致性较好。 数据仓库：数据仓库(Data ...
2018-09-06 19:24:33
19198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人