自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

携壶结客的专栏

少言,深思,践行

原创 变更数据捕获方法讨论

SQL Server中记录数据变更的四个方法:触发器、Output子句、变更数据捕获(Change Data Capture )功能、同步更改跟踪。其中后两个为SQL Server 2008所新增。 一、触发器

2013-08-06 15:17:21

阅读数 803

评论数 0

原创 Hadoop架构、部署及编程

引言 互联网的发展、数据自动采集器的大范围应用,使信息采集和规模达到空前的水平。Google在2003年发表了”The Google File System”、”MapReduce: SimpliedData Processing on Large Clusters”论文,分别介绍Google ...

2013-08-02 23:37:03

阅读数 866

评论数 0

原创 运维小记

删除大量数据 在单个事务中删除大量的数据有几个缺点。DELETE语句被完整地记录到日志,操作过程中日志不能够截断,要求在事务日志中有足够的空间以完成整个事务。而且,如果该事务因某种原因被中途中断,这之前发生的所有操作都将被回滚,而这也会花费一些时间。最后,当删除许多行时,数据库可能会把被删除行上的...

2013-08-01 17:48:43

阅读数 488

评论数 0

原创 重复数据删重技术

重复数据通常由于不恰当的数据完整性约束所导致,删重可以采用多种方法,而每种方法的效率取决于几个因素。一个是唯一行的重复数量(密度),另一个是整行都重复,还是只有一部分属性重复。 以mio_log_tmp表为例,删重代码如下: --删除重复数据 UPDATE  mio_log_tmp SET    ...

2013-07-31 22:02:20

阅读数 524

评论数 0

原创 SQL Server并发问题表分区解决方案

基本概念: 观察各个领域中真正的专家,你会发现,他们通常有着非常扎实的基础知识。不管怎样,各行各业都需要处理各种问题。这些问题的所有解决方案(也许非常复杂)都需要综合运用各种关键技术。要想精通某一领域,你需要有坚实的基础,并基于此形成自己的知识体系。通过努力完善自身的技术,把基础打牢,这样你就可以...

2013-07-31 21:40:15

阅读数 1460

评论数 0

原创 索引覆盖分析

系统优化期间,需要找到优化后最能带来效益的点进行优化,这样才能从根本上提升系统运行效率。 以下内容以某个保单增量处理程序逻辑进行分析。当前增量保单事实提取过程分为以下两步: a. 通过upd_time增量查询出各个关联表的增量cntr_id主键并插入tmp_f_cntr_v8_cntrrange...

2013-07-31 20:46:16

阅读数 911

评论数 0

原创 SQL CASE WHEN语句性能优化

背景:性能应该是功能的一个重要参考,特别是在大数据的背景之下!写SQL语句时如果仅考虑业务逻辑,而不去考虑语句效率问题,有可能导致严重的效率问题,导致功能不可用或者资源消耗过大。其中的一种情况是,处理每日增量数据的程序,实际执行过程中可能会进行全表扫描,效率与全量程序并无二致。   案例: mi...

2013-07-28 23:55:52

阅读数 17532

评论数 1

提示
确定要删除当前文章?
取消 删除