The Data Warehouse ETL Toolkit-需求

业务方面的需求始终是更基础的和更重要的部分。

   (一)业务需求

业务需求是数据仓库最终用户的信息需求。

业务需求直接决定了数据源的选择。

ETL小组的核心工作就是不断地理解和检验业务需求。

业务需求和数据源的内容都是不断变化的,需要不断地进行检验和讨论。

(二)合规需求(Compliance requirements)

法律、法规相关要求。

(三)数据评估

数据评估是设计任何数据使用系统的前提。

Jack Olson:“数据评估使用分析方法来检查数据,充分了解数据的内容、结构和质量。好的数据评估能够处理海量数据,使用分析方法找到需要解决的全部问题。”

(四)安全需求

最终用户的安全授权不是在数据仓库的物理表一级,各应用系统的用户安全定义都在各自的应用系统中进行授权。

(五)数据集成

“360度的业务视图”就是对数据集成的业务解释。(The360 degree view of the businessis the business name for data integration.)

数据集成采用规格化的维表和事实表,规格化的维表是指在分离的数据库中建设立公共维度实体,以便于构建横向钻取型报表;规格化的事实表意味着在分离的数据库中建立公共业务度量,以便于通过差值和比率对这些数值进行比较。

数据集成在ETL系统中是数据流程中的一个独立步骤,叫做规格化步骤。

(六)数据延迟

数据延迟需求用于描述数据提交到最终用户的速度。

数据延迟对系统的实施和架构有巨大的影响。

面向批处理架构与面向流的架构。

自己开发的风资源分析工具包WindAnalysis-WindAnalysis风数据分析工具包教程-V1.4.pdf 本帖最后由 He_Challen 于 2017-9-6 14:40 编辑 由于工作的原因,今年项目开始转型风电项目,在慢慢上手的过程中发现,风电所涉及的软件清一色北欧的,好不好用只有用了才知道。因为仅是为前期风电开发做技术分析,老外的软件一个是不容易上手,二是操作复杂。随下决心自己开发一套专门用于项目前期的风资源分析工具包。就这样开始而一发不可收拾,从最开始的结构搭建、输出设计便沉迷此中两个月,推出的前三个版本都不太稳定,要么是兼容不好,要么是数据处理的时逻辑顺序有问题,总之在最初的三个版本在大量项目的测风数据的测试下暴漏出一堆又一堆的BUG。说实话,中途曾想过放弃,一个人孤军奋战实在是太孤独难耐了,多年工作环境造就的内心还是比较强大的,最终还是坚持了下来。在飞机上、动车上、出差的酒店里、办公桌前开始了一遍又一遍的调试修改,度过了一个又一个难免的夜晚。最终完成的兼容性和稳定性都可靠的V.1.4.1版本,经反复测试没有问题后,将这个版本作为目前能完成的最终的版本发出来供同行们使用,方便工作和分析。下面对工具包中的WindAnalysis1和WindAnalysis2的功能做个介绍,过一阵闲了编个教程发出来供大家使用。WindAnalysis1工具包能够对获取的整个测风数据构建dateset结构体,根据时间序列进行综合整理分析,通过运行可以获得如下分析结果:a.不同高度风速、风向、温度、压强的时间序列分布图; 风速、风向、温度、压强.jpg b.整个测风数据质量判断,及质量分析图; 测风数据质量评估.jpg c.不同高度湍流强度按照风速的分布、各风速对应的湍流强度与其平均湍流强度的分布图; 湍流分布.jpg d.不同高度月平均风速分布图; 月平均风速.jpg e.不同高度日平均风速分布图; 日平均风速.jpg f.不同高度风速频率分布直方图; 风频分布.jpg g.不同高度风速风向玫瑰图; 风向、风能玫瑰图.jpg h.风切变拟合和计算; 风切变拟合.jpg i.风切变系数随月分布图; 月风切变.jpg WindAnalysis2为针对特定高度H处的风资源进行详细分析,包括:a.测风时间序列上风速、湍流偏离测风周期内平均值的偏离程度; 风速、湍流时间序列分布.jpg b.风速的威布尔分布拟合和参数计算; 威布尔分布.jpg c.威布尔分布拟合的误差和相关系数R2的计算分析; 拟合误差分析.jpg d.风切变拟合和切边系数计算; 风切变拟合.jpg e.指定轮毂高度处的平均风速推算及威布尔分布拟合; 轮毂高度处威布尔分布.jpg f.根据选型风机的参数,绘制功率曲线和推力系数曲线; 功率特性曲线.jpg 不仅限于以上figure图文件的生成,还能够估算出指定轮毂高度hub(hub>H)测风塔处的发电量,在Command Window窗口中输出计算结果,作为风资源分析的参考。 计算结果.png WindAnalysis风数据分析工具包教程-V1.4.pdf WindAnalysis1-V1.4.1.zip WindAnalysis2-V1.4.1.zip -------------------------------------------------------------------
数据仓库工具包是一本关于数据仓库设计和实施的重要参考书籍。该书的PDF版本提供了便捷的电子阅读方式,并且可以在计算机、平板电脑和手机等设备上随时查阅。 《Data Warehouse Toolkit》一书是由Kimball团队撰写的经典之作。这本书详细介绍了数据仓库的各个方面,包括维度建模、事实表、维度表、缓慢变化维度、ETL过程等等。它提供了丰富的示例和案例,让读者可以深入理解如何构建一个高效、可靠的数据仓库。 数据仓库工具包的PDF版本可以方便地在实际操作中使用。通过电子阅读,读者可以随时翻阅书中的内容,查找需要的信息。无论是分析业务需求,设计数据模型,还是进行ETL开发,读者都可以通过PDF版本快速获取所需知识,提高工作效率。 此外,数据仓库工具包的PDF版本还具有便携性和可搜索性的优势。读者可以将该PDF文件存储在电子设备中,随时随地查阅书中内容,无需携带纸质书籍。同时,通过搜索功能,读者可以快速定位关键词,找到需要的信息,提高查找效率。 总而言之,数据仓库工具包的PDF版本是一本非常有价值的书籍,在数据仓库建设中发挥着重要的作用。它提供了丰富的知识和实例,让读者能够更好地理解和应用数据仓库的设计和实施。通过PDF版本,读者可以方便地获取所需信息,提高工作效率,同时还具有便携性和可搜索性的优势。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值