原创 《SQL SERVER 商业智能维护与管理》读书笔记(四):开发SSIS包

学习目标：l         创建SSIS包Ø         使用BIDSØ         使用SQL SERVER导入导出向导l         使用数据流设计器创建数据流Ø         配置源和目标Ø         配置转换l         使用控制流设计器创建控制流Ø         序列任务中使用前置条件Ø         使用容器组织任务

原创 《SQL SERVER 商业智能维护与管理》读书笔记(三):BI组件向SQL2005 迁移

 学习目标：l         使用迁移向导将SSAS2000迁移到SSAS2005l         建立包Ø         使用包迁移向导 一、升级SSAS1、架构上的变化1）属性变化在2000里，一个维度只能定义一个层级，如果要建立属性层级，就必须建立虚拟维度或者基于相同表的新维度。相反，2005是以属性为中心的，可以建立属性层级，并且层级的数据是没有限

原创 The Microsoft Data Warehouse Toolkit读书笔记(八):第七章 OLAP数据库设计

一、为什么使用分析服务AS可以提供良好的查询性能和分析功能1、聚集管理两个挑战：哪些聚集是有用的；如何填充和管理这个聚集2、聚集操作预处理并存储聚集结果。允许用户直接参与前端操作3、度量值汇总4、查询性能人们使用OLAP的主要原因。5、其它原因1）行级的安全性2）高可用性3）把元数据向业务用户公开6、重要更新·         In An

原创 Pentaho Kettle 字符编码问题

<br />由于Kettle中的中文字符编码问题，搞了两天，终于找出了原因，现在分享出来。<br /> <br />问题描述：<br />使用PDI4.1写了一个transformation用来从XML读取数据，并且处理数据。其中有一步需要将某些字段中的“暂无资料”转换为空值。在JOB写好后，使用kettle repository保存在MySQL数据库中。<br /> <br />原因分析：<br />创建repository数据库时使用的enconding是latin，正确应当使用utf-8。建议使用文件

原创 WebHarvest 常见问题

使用WebHarvest进行web数据挖掘

原创 How to define good KPI

<br />• Is the data that it takes to evaluate this KPI trustworthy and readily available? <br />• Is the metric well defined, and will it make sense to those who evaluate it?<br />• Does the identified metric align with the goals of the organization? <

原创 Microsoft SQL Server 2008 Setup Support Files -- Error 1402. Could not open key

在重新安装SQL SERVER 2008时，因为“Error 1402. Could not open key”这个错误折腾了半天，始终没把SQL SERVER装上。在检查了注册表后，发现是因为前一次安装的SQL SERVER是用另一个域帐户安装的，导致当前用户无法读取注册表里的某一项。错误消息：Product: Microsoft SQL Server 2008 Setup Support Files  -- Error 1402. Could not open key: UNKNOWN/Componen

原创 2010年IT业的两大趋势

1. 数据中心管理随着信息技术的普及，人类每天产生的信息量正呈爆炸式增长。以搜索引挚为例，google每天从Internet上下载的图片就达10T，并且仍然在不断增长。目前，Google数据库中索引的数据量超过了100亿张。可以说大型创新公司所推出的网络服务，很大程序依赖于它所拥有的数据处理和数据存储能力。随着软件加服务的流行，原来由个人电脑完成的功能会加速向数据中心集中，企业对数据中心的需求

原创 Erwin中产生的DDL语句字段顺序混乱解决方法

Forward Engineer-->option-->column-->physical   order取消复选即可, 否则输出顺序是建立字段的物理顺序。 这个问题还与Template Script里的脚本有关：@if ( FE::Option( "ColumnPhysicalOrder" ) )  {   Set( "var_OrderListType", "Physical_Co

原创 Generate custom SQL code with Template Language in Erwin

Secenario: I want to generate view for every table in data warehouse automately, except some views create manually. Fortunately, Erwin privode a back door in the function of Forward Engineer, so it

原创 一篇不错的正则表达式高级学习技巧《转》

什么是RE? 　　想必各位大大在做文件查找的时侯都有使用过万用字符”*”，比如说想查找在Windows目录下所有的Word文件时，你可能就会用”*.doc”这样的方式来做查找，因为”*”所代表的是任意的字符。RE所做的就是类似这样的功能，但其功能更为强大。 　　写程序时，常需要比对字符串是否符合特定样式，RE最主要的功能就是来描述这特定的样式，因此可以将RE视为特定样式的描述式，举个例子来

原创 Problem resolved: Token-based server access validation failed with an infrastructure error

after install SQL Server 2008, other people cant access SQL 2008 remotely except service account at initial install. After invetigate error views on server, there is some information like this: Token

原创 Config SQL Server 2008 on Windows Server 2008 / Windows 7

Here are some results for the search term on this websiteWindows Firewall and SQL Server 2008SQL Server 2008 Continues to raise the bar as a BI platformSQL Server 2008 BI eLearning  For

原创 XPath 常用表达式

Here are some examples of patterns:para matches any para element* matches any elementchapter|appendix matches any chapter element and any appendix elementolist/item matche

原创 MDX中EXISTING 和 subselects 的差别

This is the first post in my blog, which will be focusing on BI-related issues on the SQL Server platform - i.e.: Analysis Services, Integration Services and Reporting Services.This blog entry is ab

原创 Integrate Report Service 2008 with SharePoint

 Report Server Requirements A report server that runs in SharePoint integrated mode has edition and software requirements: The report server computer must satisfy the hardwa

原创 Report Service 和 SharePoint 同时安装时需做的额外配置

当Report Service 和 SharePoint 同时安装在同一台机器时，会发现默认安装的ReportService站点打不开，执行下面命令把Report Service虚拟目录加和Sharepoint排队列表。STSADM.EXE -o addpath -url http://localhost/ReportServer -type exclusion

原创 How to debug while unexpected error occurs on sharepoint

When we are developing above sharepoint platform, some error occurs is inevitable, but we can find the cause step by step.1. turn on debug function on sharepoint to show the real error message.To en

原创 Using Analysis Services data in Excel Services by Kerberos

Reference: http://www.sharepointblogs.com/tonstegeman/archive/2007/03/11/using-analysis-services-data-in-excel-services-part-1-preparing-the-ad-for-kerberos.aspx Using Analysis Services data in Ex

原创 Modify Data Graphics Font Size In Visio

Reference: http://blogs.msdn.com/visio/archive/2007/01/02/customizing-data-graphics.aspxOne of the new features in Visio 2007 Professional is Data Graphics - the ability to display data on shapes in r

原创 Unknown Member Configuration In OLAP

when you process a cube with FK conflict, doing the following setting will help to convert bad key to unknown member.Simply change ErrorConfiguration on CUBE and Dimension:KeyErrorAction: ConverToUnkn

原创 how to resolve when data refresh failed with excel service

Data refresh Failed when refreshing data in Excel Services &using Windows Authentication mode. The scenario youre looking for is :Show data withing Excel Services & get that data using the curren

原创 字符串度量与CUBE设计

参考资源: http://www.sqlserveranalysisservices.com/OLAPPapers/Handling%20Comments%20in%20Yukon.htmhttp://www.sqlserveranalysisservices.com/OLAPPapers/Loading%20Aggregate%20Data%20in%20AS2005v2.htm1.

原创 .Net Framework 安装失败解决方法

因个vs2008自带的是.net 3.5 compact版本，想要使用full package 版本就得把原来的给卸掉。可是再重新安装的时候一到下载画面就安装失败（setup failed），后来做了两个操作：1。把.net 3.5 sp1卸载2。windows update在做了这两个操作后，安装就没问题了。

原创 Virtual Server 使用心得

1.       Virtual Server 功能描述如果你在一台实体工作站上运行多台虚拟机，那么在这台实体机上安装virtual server 是很好的选择。它可以轻松管理多台虚拟机，自由分配系统资源给运行的虚拟机。 2.       Virtual PC和Virtual Server 区别·         Virtual PC是个人版的虚拟操作系统管理程序，一般仅供单机使用

转载 Excel Spreadsheet Functions That Read Values From Cubes

BI systems for Excel use spreadsheet functions to return values from cubes in a multidimensional database. This is a new concept for users of ordinary Excel. So lets take a closer look at how its do

原创 SSIS中遍历EXCEL的全部sheets

  为了使用SSIS读取EXCEL中的全部sheet，操作步骤如下：1. 建立package级别的变量：ExcelFile EXCEL数据文件名ExcelTables Excel Sheets集合变量TableName 当前读取的SHEET名称2. 拖放一个脚本组件，用于从excel中读取sheets name到变量ExcelTables。因此只读变量设为ExcelFile ，读写

原创 excel中的日期字段读取为Null的解决方法

今天做了一个SSIS包，数据文件原来是EXCEL 2007格式的，转换成2003后让SSIS读取，但SSIS执行完成后总发现有一个日期字段总是为NULL，打开EXCEL文件仔细一看是有值的，发现读取值是NULL的数据和其它数据在显示格式上有所区别，一个是长日期格式，另一个是短日期格式，但只要在上面双击后Null单元格的格式也变成短日期格式，全部修改完成后保存，再执行SSIS包就可以正常读取了。

转载 PerformancePoint Server OR SharePoint BI

Microsoft has several business intelligence (BI) tools thatseemingly overlap in features. This can be confusing to those trying todetermine what BI tools will be most beneficial to their company.

原创 使用存储过程创建日期维度

CREATE PROCEDURE [dbo].[pBuildDim_Date](    @StartYear int = 1998     ,@NumYears int = 15)ASDECLARE    @TmpDate smalldatetime    ,@EndDate smalldatetime    ,@LastModDate smalldatetimeSET DATEFIRST 1 -

原创 OLAP处理中常见问题解决

Normal 0 false false false EN-US ZH-CN X-NONE

原创 域帐户下的PPS安装

  因为初次安装performance point server时使用的是local service, 所以当使用域帐户登陆时, 是没有权限建模和设计报表的.起初想手动设置,除了在IIS中将PPS 的application pool的服务帐户改为域帐户,还要将PPS的WINDOWS服务也改为域帐户启动.因为手工改动太繁琐,建议使用PPS 模型配置工具重新安装服务.

原创 2008-8-4 工作日志

今天仍然在忙于安装MOSS和PSS的开发环境，接近于完成MOSS的安装了。在期间出现两个问题：早上上班后才发现复制在移动硬盘里的安装文件是损坏的，应该是没有复制好，结果只好花一上午的时间重新下载。这个问题产生的原因是复制完后没有再验证一下是否可用。在相关软件安装完后发现没有安装AD服务，设置域控制器，结果又不得不把已经安装好的软件先卸载后再重新安装。教训是做一件事前没有做系统性的规划，把前期需要考

原创 2006.10-2008.7工作回顾

原创 自动化股票交易系统第二阶段开发起步

     最近在写一个自动化交易系统.在我看来自动化交易系统分为两部分,一是自动化交易,二是交易系统.目前我已经将第一部分实现,正在实现第二部分. 因此我做了一个股票市场交易的数据仓库,包含了上市公司、市场行情、大宗交易、商品市场行情和上市公司财务数据等信息,技术实现是c#+sql2008.这部分已经完成数据的寝加载和日常加载ETL程序.目前正在考虑如何将历史数据转化为技术指标,进而形成交易策略,

原创 《团队领道》绪言

《团队领道》一本好书，一本需要研读的书，一本值得拥有的书。 　　书好，先好在书名，尤其"领道"二字，不同凡响，光彩夺目。领道，而非领导，一字之差，用意颇深。 　　道，道路之道。一群人来到岔路口，左行？右转？何去何从，全看先行者领道是否正确。又一群人黑暗中前行，伸手不见五指，靠摸索？靠众议？十有九选错方向，即使选对也如蜗牛爬行。如果前方有人高擎指路明灯，众人自当勇往直前！ 　　道，道德之道。道

原创 SSIS中执行带有output参数的存储过程

   OLEDB 连接类型: 1.         选择OLEDB连接2.         属性IsQueryStoredProcedure=False3.         查询命令为EXEC ? = dbo.StoredProcedureName ? OUTPUT, ? OUTPUT, ? OUTPUT, ? OUTPUT , 第一个?返回状态

原创 SSIS中OLE DB目标与SQL SERVER目标性能比较

系统配置: AMD2.1G CPU , 1G 内存目标库: SQL SERVER 2008ETL工具: SSIS2008数据量: 360万条记录OLE DB目标执行时间: 4分47秒SQL SERVER目标执行时间: 4分37秒结论: SQL SERVER目标略快

原创 数据仓库工作总结(转)

 1.   概述本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。1.1.阅读方法本文阅读方式:

转载 .NET, XPO(转)

Dev 出品的XPO是一个O/R Mapping框架，虽然是商业软件，非开源，但提供了源码。况且Dev的产品一向以精品为主，值得好好研究一下（我不是Dev的代理 ）。于是在学习过程中做个摘要。 一、一个持久类(Persistent Class)一般来说映射为一个表类型，该表的每一条纪录即一个持久类的实例。持久类继承自XPObject或者XPBaseObject。