数据库开发/使用技巧
文章平均质量分 67
jackfor001
有朋自远方来,我很高兴!呵呵!
展开
-
用c#读取并分析sql2005日志
用过logExplorer的朋友都会被他强悍的功能吸引,我写过一篇详细的操作文档可以参考http://blog.csdn.net/jinjazz/archive/2008/05/19/2459692.aspx我们可以自己用开发工具来实现sql日志的读取,这个应用还是很酷的,具体思路1、首先要了解一个没有公开的系统函数::fn_dblog,他可以读取sql日志,并返回二进制的行数据2、然后要了解sq转载 2008-11-28 09:19:00 · 2744 阅读 · 1 评论 -
[分享]微软BI专题-渐变维度转换及其实现
在SQL Server 2005中,BI(Business Intelligence,商业智能)模块功能得以大大的增强。其中有一个重要的模块,被称为SQL Server Integrated Services(SSIS),即SQL Server数据库集成服务,其主要作用是对业务数据库或OLTP数据库中的数据进行抽取、转换和加载(Extract-Transform- Load,ETL)到数据仓库(转载 2008-12-08 16:30:00 · 1396 阅读 · 0 评论 -
[分享]微软BI专题-商业智能在ERP业务中的应用案例
商业智能的一大重要应用是在数据量庞大而嘈杂的制造业中,可以说,制造业是非常需要商业智能的行业。因此,本期我们就将目光转向制造业,讨论一下商业智能 在ERP业务中的应用。在文中,我们以一家鞋服制造企业为例,描述其ERP相关的BI系统项目特点,让大家对制造业BI在ERP业务的应用有一个直观的印 象和清晰的理解。 商业智能的一大重要应用是在数据量庞大而嘈杂的制造业中,可以说,制造业是非常需转载 2008-12-08 16:31:00 · 1024 阅读 · 0 评论 -
微软BI专题-Reporting Services报表交互排序探微
在Microsoft SQL Server 2005 Reporting Services平台下,报表可以使用交互排序功能对一定范围的数据进行排序,本文基于该功能针对实际开发过程中遇到的问题进行一些经验性总结。 无论是在SQL Server 2005的联机帮助中,还是在Reporting Services相关的书籍中,对报表交互排序的阐述都过于简洁或者语焉不详,如果完全按照其上的原创 2008-12-08 16:36:00 · 736 阅读 · 0 评论 -
[分享]微软BI专题-IS 项目部署及其安全性控制
Integration Services(IS)作为微软新一代企业级的ETL工具,其功能之强大、性能之高效已经受到业界的普遍认可,成为众多企业进行数据整合的首选工具。 一套优秀的软件系统除了具备功能完善、稳定高效的基本要求之外,要想博得众多用户的青睐,必须还要具备良好的可移植性和强大的安全控制机制。 Integration Services(IS)作为微软新一代企业级转载 2008-12-08 16:28:00 · 1009 阅读 · 0 评论 -
[分享]微软BI专题-SQL Server BI Development Studio使用技巧系列(一)
——Foreach循环容器使用方法 Foreach循环容器定义包中的重复控制流。循环的实现与编程语言中的Foreach循环结构类似。在包中,通过使用Foreach枚举器启用循环。 Foreach循环容器将重复指定枚举器的每个成员的控制流。本期文章中,我们介绍其中两种常用的枚举器使用方法:Foreach文件枚举器、 ForeachADO枚举器。 Forea转载 2008-12-08 16:30:00 · 694 阅读 · 0 评论 -
[分享]微软BI专题-数据挖掘扩展插件语言:DMX
我 们都比较熟悉SQL语言以及各种编程语言。在Microsoft SQL Server 2005 Analysis Services(SSAS)中,数据挖掘也有自己独特的语言,即:数据挖掘扩展插件DMX语言。用DMX语言进行数据挖掘的优势在于:数据挖掘功能可以 全部用语句来实现,我们可以将这些语句嵌入其它的MIS或ERP系统中,实现有机整合。本文将以某钢铁公司的炼钢抽测数据为例,为DMX语言实现转载 2008-12-08 16:32:00 · 1317 阅读 · 0 评论 -
[原创]微软BI专题-一种动态显示Matrix中Total背景颜色的方法
在Microsoft SQL Server 2005 Reporting Services平台下,Matrix是使用得很频繁的一个组件,如何设置Matrix中Total背景(字体)颜色在各类资料中罕有介绍,本文主要讨论该“悬而未决”的问题。 入手点思考:Matrix中的分组与其对应的Total是有区别的,可以基于这个区别来设置Total的背景颜色。关键函数:InScope转载 2008-12-08 16:36:00 · 636 阅读 · 0 评论 -
[原创]微软BI专题-渐变维度Type2进化三部曲
在ETL过程中,对于渐变维度的处理,一直是大家比较关注的问题。关于渐变维度的概念,我们在2007年8月的“渐变维度转换及其实现”一文中有所介绍。本文将在实际应用的对比中,提供三种处理渐变维度的方法,并比较其效率。 第一代:SSIS控件时代 对于一些会在原业务系统中进行修改/添加维度,不需要记录记录历史属性的维度,我们通常会选择SSIS中控件“渐变维度”来完成这项工作。应对转载 2008-12-08 16:37:00 · 848 阅读 · 0 评论 -
[原创]微软BI专题-Reporting Service 实用技巧之用背景图美化报表
在应用MS SQL Server 2005 Reporting Service(RS)报表实现过程中,总感觉其报表美化功能虽然很强大但却不够灵活。如何应用更加多样的页面展示技术美化报表,特别是增加在 SharePoint中RS 报表的用户体验,是本文的主旨。本文将通过简单的应用实例介绍如何利用RS 中的背景图功能美化报表的方法。 在应用MS SQL Server 2005 Re原创 2008-12-08 16:38:00 · 1201 阅读 · 0 评论 -
SQL Server 2005数据挖掘步骤
准备 Analysis Services 数据库 在本课程中,您将学习如何创建新的 Analysis Services 数据库,添加数据源和数据源视图,以及准备将用于数据挖掘的新数据库。生成目标邮件方案 在本课程中,您将学习如何创建可用于目标邮件方案的挖掘模型。您还将学习如何利用挖掘模型,比较挖掘模型,以及如何根据使用下列算法生成的挖掘模型创建预测:M转载 2008-12-08 16:19:00 · 2157 阅读 · 1 评论 -
数据挖掘无处不在
Microsoft带有多种常用的数据挖掘算法,每种算法都有一定的适用范围.下面的表是一个大概的描述: 商业问题Microsoft 算法預測類別變數,例如行銷回應、顧客流失、違約預測(巴塞爾資本協定IRB)…決策樹 貝氏機率分類 群集 類神經網路 羅吉斯迴歸預測連續變數,例如預測銷售量、預測客戶價值變動、預測金融商品價格波動转载 2008-12-08 16:18:00 · 618 阅读 · 0 评论 -
SQL2005缓存计划小结
缓存计划可以被分成两类:编译的计划和执行上下文。前者是对所有用户共享的,后者是针对某个特定用户的,它包含了某个用户执行此计划时的具体参数等相关的信息。编译的计划有四种类型,可以通过下面的语句进行查看:CodeCode highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com转载 2009-02-17 16:41:00 · 782 阅读 · 0 评论 -
SQL2005数据行的二进制结构
这篇文章为另一篇重量级文章的铺垫,通过分析sqlserver中二进制数据的存储结构,来为后面的日志文件读取做铺垫。这个分析只是一个实验,并不能覆盖全部的数据存储情况,如果有兴趣的朋友可以参考本文深入研究下去。我们建立一个测试数据表:sql语句如下:create table log_test(id int ,code char(10),name varchar(20),date datetime,转载 2008-11-28 09:21:00 · 421 阅读 · 0 评论 -
sql2005中一个xml聚合的例子
该问题来自论坛提问,演示SQL代码如下--建立测试环境 set nocount on create table test(ID varchar(20),NAME varchar(20)) insert into test select 1,aaa insert into test select 1,bbb insert into test sele转载 2008-11-28 09:28:00 · 413 阅读 · 0 评论 -
SqlServer Analysis Services 处理维度的内存错误
错误描述:由于对内存配额的估计值(xxxxMB)超过了系统所能提供的内存量(1330MB),导致该操作无法完成。错误原因:这个问题是因为sqlserver预计处理内存超过了配置的最大内存。最初碰到也没有在网上找到正确的解决办法,包括向官方咨询也没有结果,最后仔细研究了一下olap的配置文件OLAP/Config/msmdsrv.ini才找到了办法。解决方法:修改ini文件中的两个节点Process转载 2008-11-28 09:52:00 · 571 阅读 · 0 评论 -
图解SSIS自动维护SQL索引
先前我写过一篇介绍sql索引碎片的例子,参考http://blog.csdn.net/jinjazz/archive/2008/06/25/2585493.aspx现在介绍一个实施的办法,在sql2005中可以用ssis来部署一个维护索引的作业包,并通过sqlserver代理来定期执行。下面用一系列图片来说明整个过程1、首先打开Microsoft Visual Studio 2005或者随sql2转载 2008-11-28 09:57:00 · 3990 阅读 · 0 评论 -
恢复SQL2005误删除的数据
由于同事写错作业脚本,导致昨天晚上系统当中一张重要表的大概2万数据被删除。早上发现时的情况是,半夜(误操作之后)备份过数据,昨天的备份已经被新的备份取代而且没有日志备份..貌似这个策略不太合理。这个结果就是,没有误操作之前的全库备份,无法通过RESTORE LOG 来恢复。但是备份后没有清除日志,这个给恢复留了最后一丝希望。最后只能寄希望于Log Explorer。据我所知的是Log E转载 2008-11-28 10:14:00 · 1075 阅读 · 0 评论 -
配置 SQL Server 以便使用 2 GB 以上的物理内存(包括SQL Server 2005)
1. 概要使用Windows 2000 Server 的操作系统,对于SQL Server而言,需要打开操作系统的3G开关,它才能利用到2G以上的物理内存,否则这些4G以上内存只有2G能够被SQL Server使用到。 如果服务器上的内存高于4G,请打开操作系统的/3G开关。这样重新启动后,SQL Server将会自动利用大内存来提升数据库的性能,而不再受到2G的转载 2009-02-13 13:05:00 · 659 阅读 · 0 评论 -
SQL Server 2005 数据库快照(database Snapshot)
数据库快照(atabase snapshot)是一个只读的,静态的数据库视图。一个数据库可以有多个数据库快照,每个数据库快照在被显性的删除之前将一直存在。数据库快照将保持和源数据库快照被创建时刻一致,所以可被用来做一些报表。并且由于数据库快照的存在,我们可以很容易的把数据库回复到快照创建时刻。数据库快照提供了一个把数据库回复到一个特定时间点的有效途径。一个数据库快照将记录从这个数据库快照被创建后已转载 2009-02-10 09:23:00 · 580 阅读 · 0 评论 -
用SQL Server 2005索引视图提高性能二
视图限制 如要在 SQL Server 2005 中的视图上创建一个索引,相应的视图定义必须包含: ANY、NOT ANY OPENROWSET、OPENQUERY、OPENDATASOURCE 不精确的(浮型、实型)值上的算术 OPENXML COMPUTE、COMPUTE BY转载 2009-02-13 13:28:00 · 1254 阅读 · 0 评论 -
SQL Server2005整合服务: 性能优化技术
SQL Server2005整合服务: 性能优化技术整合服务: 性能优化技术 【适用于SQL Server 2005】摘要:本文描述了在使用SQL Server整合服务(SSIS)数据整合解决方案中常用的性能优化技术。目录简介SSIS 引擎概述运行时引擎 数据流引擎缓存的使用. 执行树评估设计选择缓存大小影响缓存大小的因素缓存的指导方针并行配置设置设计方法评估性能排错可视的性能收集总结简 介当你构转载 2009-02-16 15:02:00 · 1939 阅读 · 0 评论 -
[分享]微软BI专题-BI系统中财务领域的几个问题
在财务领域,公司都要做许多报表。与财务科目相关的其它维度,如机构(或子公司、部门等)、时间、业务线等都需要关联起来,用户可以利用多维数据集的特性进行钻取、切片等操作,并交叉查询其想获取的信息。除遵循多维数据集系统财务领域的特点外,还需要根据公司的一些特殊要求做特别设计。 不同财年组织架构查看数据的DW设计在项目实现的过程中,客户提出要实现可以选择不同财年的组织架构查看历史数据。也就转载 2008-12-08 16:25:00 · 784 阅读 · 0 评论 -
[分享]微软BI专题-基于OLAP的时间维度设计
时间维度在OLAP中是一个使用的很频繁的概念,通常要根据实际需求进行定义和架构,使其不仅能够满足现有基于时间分析的需求,还具有良好的可扩展性和可持续性。本文主要以SQL Server 2005为平台较为全面地介绍了时间维度的常见设计方法,并对其在OLAP中的架构方式进行了简单的阐述。 时间维度简介 在SQL Server 2005 Analysis Servic转载 2008-12-08 16:26:00 · 1240 阅读 · 0 评论 -
[分享]微软BI专题-构建成功的商业智能系统
尽管创建和管理一个成功的DW/BI系统是相当具有挑战性的,但是业界也有一些权威人士和机构总结的方法论,可以辅助BI项目管理规避风险、增加成功的可能性。 如果你去问一位资深的程序员:“我的程序用Java语言开发能成功还是C#语言开发能成功?”答案很可能是:“语言本身并不重要,重要的是如何设计、如何搭建合理的程序架构……” 同样的,如果你去问一位商业智能专家:“我转载 2008-12-08 16:27:00 · 832 阅读 · 0 评论 -
使用性能监视器找出硬件瓶颈
性能监控列表计数器名称 均值 最小值 最大值 Memory: Pages/sec Memory: Available Bytes Physical Disk: % Disk time Physical Disk: Avg. Disk Queue Le转载 2009-03-30 11:09:00 · 1464 阅读 · 0 评论 -
(转)Oracle Warehouse Builder安装配置之OWB资料库安装;
最近在使用Oracle Warehouse Builder的时候,发现其基本资料库的安装配置过程比较繁琐和笨拙,下面首先说一下安装过程中出现的问题,然后再比较详细的说明一下正确安装配置的过 程。由于全部用文本方式说明,很多图形就略去了,看完本文还有不清楚的可以联系我。我的OWB安装环境:IBM 本本,P1.3G/40G/512MOracle 10G Express EditionExpr转载 2009-04-25 18:08:00 · 1344 阅读 · 0 评论 -
Analysis Services 查询性能十大最佳实践
在针对 SQL Server 2005 Analysis Services 实例进行 MDX 查询时,要想获得最佳性能,关键要做到以下几点:合理的多维数据集设计、有效的多维表达式 (MDX) 以及充足的硬件资源。本文列出了 Microsoft SQL Server 开发小组推荐的十个最常用、最有效的 Analysis Services 查询性能优化方法。有关其他与查询性能相关的 Analysis转载 2009-08-19 11:25:00 · 1171 阅读 · 0 评论 -
MySQL性能优化
在Apache, PHP, MySQL的体系架构中,MySQL对于性能的影响最大,也是关键的核心部分。对于Discuz!论坛程序也是如此,MySQL的设置是否合理优化,直接影响到论坛的速度和承载量!同时,MySQL也是优化难度最大的一个部分,不但需要理解一些MySQL专业知识,同时还需要长时间的观察统计并且根据经验进行判断,然后设置合理的参数。 下面我们了解一下MySQL优化的一些基础,MyS转载 2009-09-11 15:33:00 · 550 阅读 · 0 评论 -
SQL Server 中collate的含义排序规则
我们在create table时经常会碰到这样的语句,例如:password nvarchar(10)collate chinese_prc_ci_as null,那它到底是什么意思呢?不妨看看下面:首先,collate是一个子句,可应用于数据库定义或列定义以定义排序规则,或应用于字符串表达式以应用排序规则投影。语法是collate collation_namecollation_na原创 2009-10-10 11:39:00 · 864 阅读 · 0 评论 -
SQL Server中汇总功能的使用GROUPING,ROLLUP和CUBE
第一次看到这样的SQL语句,看不懂,其中用到了下面的不常用的 聚集函数:GROUPING 用于汇总数据用的运算符: ROLLUP SELECT CASE GROUPING(o.customerid) WHEN 0 THEN o.customerid ELSE (Total) END AS AllCustomersSummary, CASE GROUPING(od.ord原创 2010-01-29 10:09:00 · 680 阅读 · 0 评论 -
配置hbase
<br />一、安装准备<br />1、下载HBASE 0.20.5版本:http://www.apache.org/dist/hbase/hbase-0.20.5/<br />2、JDK版本:jdk-6u20-linux-i586.bin <br />3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux<br />4、默认前提是安装完hadoop 0.20转载 2010-12-17 17:36:00 · 1265 阅读 · 0 评论 -
Mysql HA实现MYSQL的高可用
一、背景当前大多网站采用MYSQL+Linux+APACHE这种经典配置,如何防止单点失败造成的整个网站的不可用是网站管理者必须要考虑的问题,其中数据库的高可用性(Database server’s high availability)是重中之重。对于数据库的高可用性,各商业软件的厂商都有各自的解决方案,比如Oracle OPS server和IBM DB2 (share-nothing architecture)。最近MYSQL AB也发布了MYSQL cluster 软件,使用与IBM DB2类似的技术原创 2010-12-22 14:53:00 · 2273 阅读 · 1 评论 -
mysql配置和优化
在安装MySQL之前,先来了解一下相关的配置文件 MySQL配置文件 MySQL发布的最新产品实际上超出了Linux所携带的版本。但是,稳定性和开放源代码可是很重要的因素,因此在操作系统上使用较早MySQL版本是有道理的。有许多可以采用的配置文件,它们都被包含在mysql-server PRM程序中。还有一个默认的配置文件被包含在mysql PRM程序包中。配置MySQL服务器是一个丰富而复杂的工作。在本文中,我只能肤浅的说一下各种选项。可以使用的MySQL配置文件共有5个。最后4个位于/usr/share转载 2010-12-22 16:31:00 · 590 阅读 · 0 评论 -
SQL Server 2005 Analysis Services性能指南 Part 2 - 优化维度设计
优化维度设计经过良好调校的维度设计方案是高性能Analysis Services最关键的因素之一。有两种主要的优化维度设计方案:· 定义属性关系 · 有效地使用层次 定义属性关系通常情况下,Analysis Services维度数据源是关系型数据仓库中的维度表,维度表包含主键、属性和关联到其他表的外键。表 1 简单的产品维度表包含转载 2008-12-20 15:22:00 · 1056 阅读 · 1 评论 -
使用多维分割来改善分析服务性能
微软的分析服务(MSAS)是一个可以让商业股东分析来自各个方面的数据的伟大的工具——并且它的越来越流行还会为性能的改善带来额外的贡献 使用预先计算的概要数值(聚合),MSAS可以帮助你在几秒钟之内生成一份报告,而类似的一份报告如果是运行在关系型数据库管理系统上面的话,则需要几个小时。但是即使是有多个聚合,MSAS仍然可以在处理巨大量数据的时候尽力提供优化的性能。在这篇贴士中,我将会讨论使用原创 2008-12-20 15:04:00 · 624 阅读 · 0 评论 -
SQL Server 2005 Analysis Services性能指南 Part 3 - 聚合最大化
聚合最大化所谓的聚合,就是预先计算好汇总数据,并将汇总数据物理的存储,这样在查询时就可大大提高性能。更确切地说,一个聚合单元就是与维度属性关联的汇总的度量值。(※注,原文使用的是Aggregation,在汉语中为了跟动词区别开来,翻译时使用了聚合单元,不要跟Cube中的单元Cell搞混) 聚合设计是在所有的聚合单元中挑选出一部分进行物化的过程。虽然物化的聚合单元越多(※注,下文中如无特别说转载 2008-12-20 15:23:00 · 799 阅读 · 0 评论 -
[分享]微软BI专题-BI中的特殊语言——MDX(下)
导读:在上期文章中,我们针对MDX语言,从简单的语法要素入手,以进阶的方式,介绍MDX从基础到高级的应用,以及MDX与SQL之间显著的区别。本期文章将继续MDX的高级应用话题,为大家介绍MDX更为广泛的使用途径。 在SSIS中使用MDX 在处理ETL时,我们有时需要在ETL流程中嵌入MDX语言,这样在数据转换时,就可以从多维数据库中查询出所需要的数据,而且也可以对多维数转载 2008-12-08 16:33:00 · 1130 阅读 · 0 评论 -
[原创]微软BI专题-Reporting Services平台下报表数据筛选的两种方法
本文以Microsoft SQL Server 2005 Reporting Services为平台,介绍了该平台下报表数据筛选的两种常用方法:在数据集中添加筛选条件,并简单地介绍了filter函数的使用方法;在报表的组件 中的筛选界面中添加筛选条件。 在日常报表的开发过程中,经常会遇到类似下面的问题:希望满足条件A>0或(和)B>0的显示,否则不显示,这样的报表应该怎转载 2008-12-08 16:34:00 · 1238 阅读 · 0 评论 -
[转帖]数据挖掘聚类算法一览
[转帖]数据挖掘聚类算法一览聚类分析是数据挖掘中的一个很活跃的研究领域,并提出了许多聚类算法。这些算法可以被分为划分方法、层次方法、基于密度方法、基于网格方法和基于模型方法。1 划分方法(PAM:PArtitioning method) 首先创建k个划分,k为要创建的划分个数;然后利用一个循环定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。典型的划分方法包括:k-mean转载 2008-12-08 16:23:00 · 1151 阅读 · 0 评论