数据仓库
文章平均质量分 65
python与大数据分析
24年IT工作经验,《IT项目管理那些事儿》一书主编,《剑破冰山-oracle开发艺术》一书合著者,曾在华为、HP、移动、电网等国内外知名IT企业任职;关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、大数据平台、数据仓库、系统架构、数据治理、数据分析、机器学习、大中型项目管理、部门管理等方面有一定研究,从0到1完成PB级大数据平台规划、架构、模型、建设、应用。
展开
-
关于Python可视化Dash工具—散点地图、热力地图、线形地图
好不容易实现了choropleth_mapbox地图,也顺道把散点地图、热力地图、线形地图处理掉吧,做到有始有终,再迈向新的领域;从微信公众号里拿到了按分省统计的用户数据,又拿到了各地市数...原创 2021-03-18 08:10:00 · 1544 阅读 · 0 评论 -
谈谈数据仓库架构的发展和分类
整理于2008年02月13日,2009年10月22日迁移至此。 在此不做评述,仅供参考!#A4Y*]9O~4Em7D4HgM@K6517以下内容均引自于ttnn网站,详细链接如下:Xv,I2s#OTfcY6517http://groups.google.com/group/ttnn?lnk=li"Q8E5E;~+f2转载 2009-10-22 12:14:00 · 1511 阅读 · 0 评论 -
关于ETL过程如何保证数据量的准确性和数据的正确性的讨论
原创于2008年06月06日,2009年10月22日迁移至此。关于ETL过程如何保证数据量的准确性和数据的正确性的讨论Flywolf2000这个问题很简单,就是ETL过程中,你怎么保证数据的准确性,这个准确性包含两个方面:数据量的准确性,数值的正确性。ITPUB个人空间l;o`^*ca)V f6G~,g原创 2009-10-22 12:11:00 · 7793 阅读 · 0 评论 -
The Changing Face of Business Intelligence(正在改变中的BI的脸)二
原创于2009年01月13日,2009年10月19日迁移至此。 文章太长了,只能截成两段来发出去了ITPUB个人空间 c*f/+F�L7y*I7fFocus on Business Analysts关注业务分析师Analytics are an important aspect of business measurement a翻译 2009-10-19 22:39:00 · 1621 阅读 · 0 评论 -
关于数据仓库中复杂报表SQL语句的写法
原创于2008年04月02日,2009年10月18日迁移至此。 在数据仓库的基本报表制作过程中,通常会使用SQL作为数据源,可是普通的SQL实在不适合处理一些较为复杂的逻辑判断;一般而言,待查询的数据类型主要包括日期型、数字型、字符串这三类数据类型;在报表查询界面前段,实际上会对查询的数据作一些缺省处理,例如有些字段可输可不输原创 2009-10-18 22:18:00 · 2616 阅读 · 0 评论 -
XXX集团财务决策支持系统——财务决策支持项目组(系列六)
原创于2008年04月07日,2009年10月18日迁移至此。对于数据仓库而言,其组织结构如何构建关系到数据仓库项目的成败,为此我们需要理解到以下原则:1. 一把手原则数据仓库项目是为决策支持系统服务的,因此没有高层管理人员的支持,一个公司的数据仓库项目是不可能成功的。没有任何项目像数据仓库项目这原创 2009-10-18 22:10:00 · 2341 阅读 · 0 评论 -
XXX集团财务决策支持系统——财务分析指标(系列五)
原创于2008年04月03日,2009年10月18日迁移至此。 财务决策支持中心是大型企业集团的财务决策支持机构,也是企业决策层的智囊团。在该机构中,必须具有完善的财务决策支持系统,该系统必须支持群体财务决策、分布式财务决策和智能财务决策,必须具有权威性,具有计划指标的确定及其执行的监督权,以及部门和个人的绩效评估与考核权。财务决策支持中心既有会计和财务方面的专原创 2009-10-18 22:07:00 · 3791 阅读 · 0 评论 -
XXX集团财务决策支持系统——现有系统功能(系列三)
原创于2008年04月01日,2009年10月18日迁移至此。 其实这个章节完全拷贝自互联网上关于用友财务系统的介绍,本来想找些其管理会计部分的不足,无奈用友公司的公关能力实在太好了,找遍了互联网上竟然找不到一点点有效的资料。 唯一能说的就是用友财务系统总的来说还是比较成熟的,引入了相当部分的管理会计功能,但是原创 2009-10-18 22:00:00 · 4207 阅读 · 0 评论 -
XXX集团财务决策支持系统——用友财务系统现有的财务报表(系列四)
原创于2008年04月01日,2009年10月18日迁移至此。 以下资料来自于itpub论坛ohk网友的《Power-BI财务分析介绍》的内容,这些报表反映出目前用友财务系统能够支持的所有财务报表,避免项目过程中做重复性劳动工作。谢谢! 一、资产负债表水平、结构与趋势分析:如资产与历史期间对比的增减情况如何?又如资产负债表中资产的原创 2009-10-18 22:02:00 · 2404 阅读 · 0 评论 -
XXX集团财务决策支持系统概述(系列一)
原创于2008年03月11日,2009年10月18日迁移至此。 本来想使用文绉绉的语言来描述项目的各种准备工作,无奈对财务相关知识缺乏太多了。所以还是以大白话的方式一点点地写吧。本文仅限于集团财务决策支持系统的正式需求调研之前的准备工作,该文不包含任何集团公司的机密信息,大多数财务资料来自于网上素材和沟通。内容包括以下部分:X原创 2009-10-18 21:56:00 · 2560 阅读 · 0 评论 -
数据仓库成功的评价标准
原创于2008年02月14日,2009年10月18日迁移至此。 Normal 0 7.8 磅 0 2 false false false Microsoft原创 2009-10-18 21:47:00 · 2946 阅读 · 0 评论 -
北京年会和关于数据仓库板块的思考
原创于2008年01月12日,2009年10月18日迁移至此。说实话我认为是一个喜欢研究技术的人,虽然我的Oracle、Sybase、SQLServer等数据库水平实在很菜,甚至Powerbuilder,VB,Java水平也不过尔耳;在火车上是和hanson、yxyup、yeahy三位Oracle高手一原创 2009-10-18 21:45:00 · 1531 阅读 · 0 评论 -
XXX数据仓库分析模型设计文档
原创于2007年02月11日,2009年10月15日迁移至此。 本文提供了一个数据仓库项目的分析模型设计文档,仅供参考! XXX分析模型说明目 录1 共享数据表结构描述 32 XXXXXXXXX 42.1原创 2009-10-15 23:30:00 · 2383 阅读 · 0 评论 -
The Changing Face of Business Intelligence(正在改变中的BI的脸)一
原创于2009年01月13日,2009年10月19日迁移至此。 The Changing Face of Business Intelligence正在改变中的BI的脸 之所以翻译该文章,首先是因为好久没有关注BI领域了,本来一直说不清BI和数据仓库究竟为何物;其次是今天到ttnn上看了一下,发现Qing在谈论一篇关于BI新观点的文翻译 2009-10-19 22:36:00 · 1804 阅读 · 0 评论 -
Data Models(数据模型)
原创于2009年01月15日,2009年10月19日迁移至此。 Data Models(数据模型)原贴参见:(需要注册)http://inmoncif.com/registration/datamodels/index.php很多搞过数据仓库的朋友曾经问我有没有数据模型的资料,很惭愧,一来是实施项目确实不多;二翻译 2009-10-19 22:31:00 · 2809 阅读 · 1 评论 -
一次解决DB2接口文件到Oracle无法导入问题的经历
前几天触点营销平台出了点问题,请同事帮忙处理,结果两天过去了,还是没定位到问题。临近春节,还是要把问题解决掉的,今天忙碌了一上午总算解决这个问题从DB2主机往Oracle主机发送接口文件,接口文件的数据总是缺失一部分,导致CRM系统无法看到相应的营销活动。原创 2014-02-11 07:51:42 · 3820 阅读 · 0 评论 -
Green Plum测试报告
最近在EMC公司就Green Plum做了下测试,总体而言,测试效果还是很不错的,在这里非常感谢EMC测试人员的协助,希望有机会能够合作。本文先后从数据加载、数据查询、数据范围查询、数据更新、修改方面对Green Plum做了相关测试,并给出了评测结论。第 1 章 测试环境1.1 硬件环境 测试项目 Oracle11G GreenPlum Master 节点 GreenPlum原创 2011-11-07 23:18:21 · 7402 阅读 · 0 评论 -
用友BQ商业智能平台之安装篇
前言 2010年3月30日,用友宣布推出BQ商业智能平台,此举意味着用友开始正式进军BI市场。在发布会上,用友董事长王文京透露,用友2009年已经开始为进入BI 市场做准备,2009年12月31日,用友华表斥资3000万元人民币收购国内BI厂商广州尚南科技有限公司,借此将用友华表核心业务从报表和打印技术扩展到商业智能应用与服务。今后,用友华表将以BI为核心技术开展业务。 我本人前些年也一直原创 2010-05-18 22:21:00 · 2160 阅读 · 6 评论 -
Oracle分析函数、多维函数和Model函数简要说明,主要针对BI报表统计
以下代码均经过测试,可直接运行Oracle分析函数、多维函数和Model函数简要说明,主要针对BI报表统计,不一定很全面,但对BI应用场景做了少许说明--创建一张销售数量表,数据趋势是递增的CREATE TABLE ComputerSales AS SELECT 120+TRUNC(rn/12)+ROUND(DBMS_RANDOM.VALUE(1,10)) SalesN原创 2011-06-06 19:06:00 · 2804 阅读 · 0 评论 -
用友BQ商业智能平台设计模式——概述
一个完整的商业智能平台应该包括用户视角和开发者视角;对用友BQ商业智能平台而言,开发者视角就是设计模式。开发者视角应该包括相应的安全管理、数据源连接、任务计划管理、外部接口服务、报表开发;在商业智能工具选型的时候,开发人员虽然不是决定性作用,也至少有相应的建议权和影响力;对于实施者或某些开发用户而言,后台功能的易用性、可管理性、安全性对他们是很重要的。原创 2010-09-06 09:34:00 · 1429 阅读 · 0 评论 -
用友BQ商业智能平台——智能报表(表格式)&智能报告
智能报表(表格式)是用友BQ商业智能平台提供的一个功能强大的独立报表制作组件,智能报表(表格式)设计定位是EXCEL的嵌入式工具,故其界面风格、操作流程均做到与EXCEL完美结合。原创 2010-09-06 09:59:00 · 1659 阅读 · 0 评论 -
用友BQ商业智能平台设计模式——信息域&智能查询
一般而言,数据库里的表名和字段名都是一些很难理解的名称,那么业务人员如何基于数据库来构建查询和报表?BQ商业智能平台的信息域功能就用来解决这一难题,它能将数据库中的表名及字段名称改为业务人员容易识别并接受的业务术语。信息域是为开发或终端用户提供一个良好的视角和语义层,以使得他们能够进行快速开发或自定义报表,来满足应用需求。原创 2010-09-06 09:46:00 · 1321 阅读 · 0 评论 -
用友BQ商业智能平台报表功能
初步评价:“2008年中国商业分析软件市场规模达到2.6亿美金,年增长率为15.4%,而在2009年这个数据在2.8亿美金左右。”——IDC报告。用友BQ商业智能平台对于用友而言是产品线的一次延伸和补充,用友从企业管理软件不断延展到商业智能比较高的领域,对用友产品线来说是一个升级。第二,用户的价值也是一次升级,用友 BI产品应用越多,对用户实现管理软件的价值就越高。第三,此次用友BQ上市,代表中国软件企业,在企业级应用软件提供服务上到应用端一次升级和尝试对于用友BQ商业智能平台而言,原创 2010-09-06 09:16:00 · 5816 阅读 · 0 评论 -
用友BQ商业智能平台——图表功能
用友BQ商业智能平台提供了基于Excel和EIS等大量的图表功能,以满足信息决策支持的需要,将多样化的数据分析结果展示在一个平台,其强大的分析功能为决策者传送关键数据,而且不需编程即可完成复杂的EIS展示。原创 2010-09-06 10:05:00 · 1969 阅读 · 0 评论 -
关于数据挖掘关联规则的Oracle实现
呵呵,前几天拿到了数据挖掘基础教程一书,感觉部分算法是基于统计学的原理的,而统计学是可以通过Oracle来实现。其次是为了观看德国vs西班牙的世界杯比赛,来了一点小小的兴致,动手写点小脚本。不过本文只是为了实现而实现的,没有做任何优化,有兴趣的话,大家可以玩一玩。原创 2010-07-08 12:35:00 · 3534 阅读 · 2 评论 -
数据仓库从业人员必看的数据仓库网站!
自己归纳整理出来的,95%以上可以访问,有兴趣的朋友可以看看 分类Web SiteDescriptionBLOGhttp://blog.bicubes.com/funyaya BLOGhttp://blog.sina.com.cn/tbbi BLOGhttp://spa原创 2009-11-16 09:05:00 · 3241 阅读 · 1 评论 -
关于BI前端展示工具选型的参考依据
原创于2006年12月10日,2009年10月15日迁移至此。 综合多种报表工具以及以前项目经验的整理出来的一份报表选型参考! 序号功能二级功能1对操作系统的支持UNIXLinuxWindowsOther原创 2009-10-15 23:24:00 · 2670 阅读 · 1 评论 -
关于数据仓库的数据模型
原创于2007年06月27日,2009年10月15日迁移至此。<!-- /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:y原创 2009-10-15 22:46:00 · 2110 阅读 · 0 评论 -
5 关于数据仓库维度数据处理的方法探究系列——缓慢变化维处理——全历史记录
原创于2006年12月09日,2009年10月15日迁移至此。 全历史记录是缓慢变化维中最为强大的一种加载方式。它将可以完全实现覆盖方式能实现的加载方式,且可以实现对数据的历史记录,可以记录下每一个数据的细微变化。 3.3.2 全历史记录(Type 2 Dimension -- keep a full history of changes i原创 2009-10-15 09:25:00 · 3073 阅读 · 3 评论 -
4 关于数据仓库维度数据处理的方法探究系列——缓慢变化维处理——覆盖方式
原创于2006年12月09日,2009年10月15日迁移至此。此种方式是缓慢变化维中最简单的一种,它用于保证数据仓库中的数据为当前的最新值,不保留历史数据,如发现数据仓库中当前数据已为旧数据,则对当前已有记录进行值更新,主键值不变,如发现有新数据,则把新数据加载到数据仓库中,并赋予新的代理主键值。 3.3实现3.3.1覆盖(Typ原创 2009-10-15 09:22:00 · 1706 阅读 · 1 评论 -
关于数据仓库的设计!
原创于2006年11月03日,2009年10月15日迁移至此。 下面以SQLServer2000和Analysis Service为例,并结合以前的项目经验,把相关的知识和大家一起分享探讨!在公司时用英文写的,懒得做翻译了!Data Warehouse ConceptAdata warehouse is a subject-oriented, integ原创 2009-10-15 09:06:00 · 6492 阅读 · 1 评论 -
关于数据增量抽取的模拟实现——原理
原创于2006年12月28日,2009年10月15日迁移至此。ETL是数据仓库的一个重要处理环节,Extract即是从业务数据库中抽取数据,Transform即是根据业务逻辑规则对数据进行加工的过程,Load即是把数据加载到数据仓库的过程。通常为了尽可能的减少对业务系统的压力和性能影响,或者因为网络传输异构数据库等原因,一般都是根据特定的增量抽取原则,原创 2009-10-15 09:34:00 · 2360 阅读 · 1 评论 -
8 关于数据仓库维度数据处理的方法探究系列——父子维
原创于2006年12月15日,2009年10月15日迁移至此。 父子维度通俗的话来讲,这个表是自反的,即外键本身就是引用的主键;类似这样的关系,如公司组织结构,分公司是总公司的一部分,部门是分公司的一部分,当然如果定义得好的话员工是部门的一部分;通常公司的组织架构并非处在等层次上的,例如总公司下面的部门看起来就和分公司是一样的层次。因此父子维的层次通常不固定的。原创 2009-10-15 09:28:00 · 3966 阅读 · 0 评论 -
3 关于数据仓库维度数据处理的方法探究系列——缓慢变化维概述和原理
原创于2006年12月07日,2009年10月15日迁移至此。缓慢变化维Slowly Changing Dimensions(A typical slowly changing dimension is a product dimension in which the detailed description of agiven product is casiona原创 2009-10-15 09:21:00 · 2085 阅读 · 0 评论 -
1 关于数据仓库维度数据处理的方法探究系列——维的概述
原创于2006年12月06日,2009年10月15日迁移至此。 在数据仓库中,维度是数据仓库概念的一个重要基础,因此维度的抽取和处理是一个重要的环节,对于不同的维度根据业务需求以及客观原因有许多不同的处理方式,以下将以SQLServer2000语法为例展开。1 维概述1.1概述维度是多维数据集原创 2009-10-15 09:09:00 · 2415 阅读 · 0 评论 -
关于BO培训的一点体会!
原创于2006年10月31日,2009年10月15日迁移至此。 为期三天代价不菲的BO培训感言!迫于商业项目的需要,刚刚参加了一个为期三天的BO培训,也许之后还会有Hyperion的培训。 三天的培训在BO教员的毫无激情的照本宣科中结束了,培训的内容很少只有BO的Universe,培训实在令我很失望,原因有三。其一原创 2009-10-15 09:02:00 · 1404 阅读 · 0 评论 -
关于数据事实表汇总的模拟实现——原理
原创于2007年01月08日,2009年10月15日迁移至此。 在数据仓库中通常会存储双重粒度级别的数据来满足不同的需要,轻度综合数据和原始数据,在原始数据层面上可以访问细节数据,而在分析层面则访问轻度综合数据。原始数据因为存储了基本上原封不动的数据,导致系统存储压力增大,同时也造成查询使系统性能的下降;而轻度综合数据由于数据进行压缩更为简洁,通常情况下对原创 2009-10-15 09:38:00 · 1857 阅读 · 0 评论 -
2 关于数据仓库维度数据处理的方法探究系列——无变化维度处理
原创于2006年12月06日,2009年10月15日迁移至此。 无变化维度一般都是比较简单的维度,都是经过一次性处理后就不再变化的数据;通常这些维度都是一些常识数据(如性别,重要程度)和分段数据(为了减少单层维度的数量,按照一定业务标准进行的人为分组)。2 无变化维度处理2.1概述无变化维度一般都是比原创 2009-10-15 09:19:00 · 1818 阅读 · 1 评论 -
关于数据增量抽取的模拟实现——脚本实现
原创于2006年12月30日,2009年10月15日迁移至此。本文主要是针对关于数据增量抽取的模拟实现——原理进行实现的实现的环境:业务数据库:Oracle9i数据仓库数据库:SQLServer20001、前提SQLServer服务器已经安装Oracle驱动,不再详细累述2、创建链接数据库打开企业管理器->安全性-链接服务器-右键原创 2009-10-15 09:37:00 · 1782 阅读 · 0 评论 -
6 关于数据仓库维度数据处理的方法探究系列——缓慢变化维处理——记录最新记录及上一次历史
原创于2006年12月09日,2009年10月15日迁移至此。 此种方式是缓慢变化维中较为折中的做法,但需要表结构随之适应。它的原理是把目标表字段扩充一倍,其中一组用来记录最新的记录信息,另一组用来记录上一次的历史记录。新记录插入时,将其插入到最新记录的位置,一旦记录发生改变,修改后的记录变为最新记录,则把修改后记录替换原来的记录,放在最新记录位置,同时把原记录移至旧记录位置原创 2009-10-15 09:26:00 · 1981 阅读 · 1 评论