- 博客(6)
- 收藏
- 关注
原创 索引二- 效率提升OR索引失效
数据仓库性能优化是我们常常不可避免的问题。因为我们常常要面对大量的数据。当预估查询所得的结果集低于全表的5-10%, 考虑使用索引进行查询。下面我们介绍下优化索引用以提升查询效率的几点技巧。 1. where,order by子句中使用索引列, 索引列上不可加计算,不可使用<>(用大于小于计算,否则查询会放弃使用索引),避免使用or(可以使用两个查询,将结果集UNION A...
2018-11-06 15:39:07
201
原创 锁、隔离级别、死锁
事物有四个特性:ACID,分别指的是原子性,一致性,隔离型,持久性。 原子性: 事物中的所有操作同时成功或者失败。 一致性:事务前后数据库的信息需要是一致的。 隔离性:多个事物并行执行 的结果与这些事物串行执行的结果相同。 持久性:事物对数据库的操作时持久的,在数据库遭到破坏之后,数据是可以恢复的。 在实际生产环境中为了提高效率,我们需要尽可能高的提升并发性能,那么如何控制并发?我们需要...
2018-11-06 15:35:38
260
原创 索引(1)-概念及分类
索引是对表中的一列或者多列的数据进行排序的物理结构 索引的分类方法主要有下面几种: 普通索引:一般创建索引时,默认为普通索引。一张表上可以建立多个普通索引,如果表上有多个索引,则在执行查询 操作时,优化器来选择适合的索引。普通索引允许null值。普通索引可以提升查询效率。 唯一索引:索引列在表中不能有重复值。主键索引是唯一索引的特定类型。与之相对的是非唯一索引,非唯一索引在索引列有...
2018-10-24 17:36:14
1179
原创 ETL数据抽取 全量 增量
在根据用户需求选择需要抽取的字段之外,我们通常需要选择采用全量或者增量的方法进行数据抽取。全量抽取指的是从源系统中将表内数据不加行的筛选,全部抽取;增量抽取指的是只抽取前次抽取之后发生变化或者新增的数据(增量抽取的数据难度较大,要保证数据不能多抽取,漏抽取)。 在源表数据量较大,大部分数据一经入库改动可能较小时一般采用增量抽取的方式;对于表数量较小或者维表这类情况会进行增量抽取。 ...
2018-09-12 17:30:52
4543
原创 数据仓库ETL 概念及实现<1>
ETL是数据仓库的第一步,指的是数据的EXTRACT、TRANSFER、LOAD三个步骤,解释分别是从操作系统中抽取,数据转化,入库。 数据抽取: 1. 一般来讲,数据抽取需要减少对源系统的影响,和其他团队的依赖,并减少网络依赖; 2. 抽取过程中需要过滤掉数据仓库不需要的数据记录以及字段,这样会减少文件抽取、后续入库、转换的压力。对于记录数可以使用增量、全量的抽取方式,字段...
2018-09-12 10:57:17
1802
原创 数据库 、数据仓库、数据集市的区别与联系
一些刚进公司的同学有时候会问我,我们的数据库信息为什么有冗余呢,这个表的设计和之前学校学习的不一样呢,为什么不符合三范式呢等等。下面我会依次介绍下数据库、数据仓库、数据集市的概念以及他们之间的区别。 首先是概念: 数据库:按照数据结构来组织、存储、管理数据的建立在计算机存储设备上面的仓库。数据库一般适用于操作型系统。因为符合三范式的设置,数据的一致性较好。 数据仓库:数据仓库(Data ...
2018-09-06 19:24:33
19198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人