- 博客(84)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 21.数据仓库架构体系总结
一、数据仓库架构 二、数据主题域设计 三、星型模型设计 数据处理技术QQ群：467404632 原文地址 https://www.cnblogs.com/hadoopdev/p/5753063.html ...
2018-12-19 16:15:41
461
转载 20.总线架构和维度建模优势-杂项
一、总线架构 维度建模的数据仓库中，有一个概念叫Bus Architecture，中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是一致性维度（Conformed Dimension）和一致性事实（Conformed Fact）。在多维体系结构（MD） 的数据仓库架构中，主导思想是分步建立数据仓库，由数据集市组合成企业的数据仓库。但是...
2018-12-19 16:12:13
717
转载 19.Kimball总线矩阵说明-官方版
一、前言 Over the years, I have found that a matrix depiction of the data warehouse plan is a pretty good planning tool once you have gathered the business requirements and performed a full data audit. ...
2018-12-19 16:10:30
704
转载 18.案例篇：电商领域数据主题域模型设计v0.2
一、电商分类（平台+自营+复合） （1）平台型电商：淘宝+天猫+百度Mall等； （2）自营型电商： 2.1 综合型：京东（早期）+当当（早期）； 2.2 垂直型：好像这种类型越来越少了； （3）复合型电商（平台+自营）：京东+当当+亚马逊等； 二、平台型电商特点（三无+两有+一核心） （1）三无：无商品、无库存、无物流； （2）两有：有...
2018-11-16 17:29:15
5201
2
转载 17.数据建模语言Information Engineering - IE模型
Information Engineering采用Crow's Foot表示法（也有叫做James Martin表示法的），中文翻译中对使用了Crow's Foot表示法的模型也有笼统的称做鸭掌模型的（关联关系的关联基数中采用到了一个鸭掌形的三叉线来表示）。他由Clive Finkelstein发明，与James Martin一起推广，后来两人各自做了些修正形成两份版本前面示例模型的Infor...
2018-11-16 17:27:33
1847
转载 16.数据建模语言IDEF
１引言IDEF的含义是集成计算机辅助制造（Integrated Computer－AidedManufacturing，ICAM)DEFinition。最初的IDEF方法是在美国空军ICAM项目建立的，最初开 发3种方法:功能建模(IDEF0)、信息建模(IDEF1)、动态建模(IDEF2)，后来，随着信息系统的相继开发，又开发出了下列IDEF族方法： 数据建模（IDEF1X）、过程描述获取...
2018-11-16 16:58:36
623
转载 15.数据仓库建设基本原则-实践篇
数据仓库建设原则第一条：一切为就绪数据让路；数据仓库建设原则第二条：业务分析和数据分析深浅有度；数据仓库建设原则第三条：数据价值挖掘切莫求之过急，水到渠才能成；数据仓库建设原则第四条：团队目标必须一致，可以有异议，但是不可有异声；数据仓库建设原则第五条：资深行业专家团队系统建设采用自顶向下，其他模式采用自下向上；数据仓库建设原则第六条：内容决定形式，文档表述切记死扣细节；数...
2018-11-16 16:52:05
634
转载 14.星型模型中事实表作为维表使用面临的问题和解决方法
一、概述 星型模型设计，经常遇到的问题便是，此业务过程之维度，恰恰是另外一个业务过程的事实。最简单的例子如，产品销售业务活动，以订单为事实，以客户、产品、销售人员等为维度；而产品维度，在产品生产业务过程中则作为事实存在。那么问题来了，模型设计时，在逻辑模型层次如何表征这种关系，在物理模型层，又如何实现这种关系。人是活的，技术是死的，条条大道通罗马，没有火车飞机，马可波罗一样来到到了中...
2018-11-16 16:50:29
579
转载 13.数据分类模型
一、数据分类模型数据库的类型是根据数据模型来划分的，而任何一个DBMS也是根据数据模型有针对性地设计出来的，这就意味着必须把数据库组织成符合DBMS规定的数据模型。目前成熟地应用在数据库系统中的数据模型有：层次模型、网状模型和关系模型。它们之间的根本区别在于数据之间联系的表示方式不同(即记录型之间的联系方式不同)。层次模型以“树结构”表示数据之间的联系。网状模型是以“图结构”来表示数据之间的...
2018-11-16 16:48:40
1907
转载 12.缓慢变化维处理技术
一、案例描述 在一个零售业数据仓库中，事实表保存着各销售人员的销售记录，某天一个销售人员从北京分公司调到上海分公司了，那么如何来保存这个变化呢？也就是说销售人员维度要怎么恰当的处理这一变化。 先来回答一个问题，为什么要处理，或保存这一变化？如果我们要统计北京地区或上海地区的总销售情况的时候，这个销售人员的销售记录应该算在北京还是算在上海？当然是调离前的算在北京，调离后的算在上海,但是如...
2018-11-16 16:41:05
246
转载 11.维度属性选择之维护历史是否应该保留
一、背景 数据仓库建模过程中，针对事务型事实表设计，经常会遇到维度属性选择的问题，比如客户维度，在操作型系统中，为了跟踪客户状态的变化，往往会附加客户记录的四个属性： 1.add time：添加时间； 2.add user：添加用户； 3.mod time：修改时间； 4.mod user：修改用户； 问题在于，当我们进行维度建模的时候，如果以客户作为维...
2018-11-16 16:28:24
167
转载 10.维度建模10大基本原则
一、前言 特别声明：本文整理自互联网。 遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求，用户通常不希望每次只看到一个单一的记录...
2018-11-16 16:26:41
659
转载 9.数据仓库、主题域、主题概念与定义
一、数据仓库 关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出： 中文定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 英文定义：A data wareho...
2018-11-16 16:25:03
3023
转载 8. 如何构建主题域模型原则之站在巨人的肩上（二）NCR FS-LDM主题域模型划分
一、前言 分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础，介绍NCR FS-LDM主题域模型的划分和定义。二、模型结构 ...
2018-11-14 10:01:50
580
转载 7. 如何构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分
一、前言 如何构建主题域模型原则是构建企业级数据仓库重要的议题，最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM，是金融行业应用极为广泛的数据模型，可以作为我们构建企业级数据仓库主题域模型划分的重要依据。本文就IBM FSDM主题域模型进行初步的介绍。二、模型结构三、标准定义 关系人 IP 银行的业...
2018-11-14 09:55:10
2111
转载 6.分布式数据仓库事实表设计思考
一、前言 最近在设计数据仓库的数据逻辑模型，考虑到海量数据存储在分布式数据仓库中的技术架构模式，需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库的数据存储模型。二、事实表设计基础 事实表记录发生在现实世界中的操作型事件，其所产生的可度数值。事实表的设计完全依赖于物理活动，不受可能产生的最终报表的影响。事实表中，除数字度量外，事实表...
2018-11-14 09:49:34
381
转载 5.Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程，适合系统结构复杂，团队协作复杂，人员结构复杂的情况，并且数据仓库建设团队和业务系统建设团队不同的情况。具体...
2018-11-14 09:38:09
4023
转载 4. 数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。下图是The Kimball Lifecycle diagra...
2018-11-14 09:33:09
459
转载 3. 数据仓库3NF基础理论和实例
一、引言 最近在梳理大数据模式下的数据仓库数据模型，花了点时间，系统的回顾一下传统数据仓库数据模型设计的理论，作为笔记分享给大家，很多资料来自互联网和读过的数据仓库理论和实践相关的熟悉，无剽窃之心，共勉吧。二、3NF（1）1NF-无重复的列 数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。 如果出现重复的...
2018-11-14 09:30:25
631
转载 2.三个例子，让你看懂数据仓库多维数据模型的设计
一、概述 多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。二、星型模式（star schema） 星型模式的核心是一个大的中心表（事实表），一组小的附属表（维表）。星型模式示例如下所示： 三、雪花模式（snowflake schema） 雪花模式是星型模式的扩展，其中某...
2018-11-07 15:34:34
5044
10
转载 1.数据仓库建模方法初步
一、前言 数据仓库得建模方法同样也有很多种，每一种建模方法其实代表了哲学上的一个观点，代表了一种归 纳，概括世界的一种方法。目前业界较为流行的数据仓库的建模方法非常多，这里主要介绍范式建模法，维度建模法，实体建模法等几种方法，每种方法其实从本质 上讲就是从不同的角度看我们业务中的问题，不管从技术层面还是业务层面，其实代表的是哲学上的一种世界观。我们下面给大家详细介绍一下这些建模方法。...
2018-11-07 15:32:12
284
原创 tomcat下面发布项目的几种方式
第一种方法：1.在tomcat中的conf目录中，在server.xml中的，节点中添加： 2.访问地址：http://localhost:8080/mysite 第二种方法：将web项目文件件拷贝到webapps 目录中。或者直接通过Eclipse发布到Tomcat上。 第三种方法：1.很灵活，在conf目录中，新建 Catalina（注意
2016-10-31 10:52:42
589
原创 部署Django
从Django一开始，就有另一个重要的目标：Django应该容易被部署，并且它应该能够用有限的资源提供大量的服务。这样的动机是很明显的，当你看到 Django的背景：堪萨斯州一个小巧的、家族式报纸企业负担不起高品质的服务器硬件，所以 Django的最初开发者们都非常的关心如何才能从有限的资源中挤压出最好的性能。确实，这些年来 Django的开发者们充当了他们自己的系统管理员。虽然他
2016-10-12 20:31:45
850
原创 Django安全
Internet并不安全。现如今，每天都会出现新的安全问题。我们目睹过病毒飞速地蔓延，大量被控制的肉鸡作为武器来攻击其他人，与垃圾邮件的永无止境的军备竞赛，以及许许多多站点被黑的报告。作为web开发人员，我们有责任来对抗这些黑暗的力量。每一个web开发者都应该把安全看成是web编程中的基础部分。不幸的是，要实现安全是困难的。攻击者只需要找到一个微小的薄弱环节，而防守方却要保护得面面
2016-08-30 16:28:32
1833
原创 Django国际化
Django诞生于美国，和许多其他的开源软件一样，Django社区发展中得到了全球范围的支持。所以Djano社区的国际化应用变得非常重要。由于大量开发者对本章内容比较困惑，所以我们将详细介绍。国际化是指为了在任何其它地区使用该软件而进行设计的过程。它包括为了以后的翻译而标记文本（比如用户界面控件和错误信息等），提取出日期和时间的显示以保证显示遵循不同地区的标准，为不同时区提供支持，并且在一般情
2016-08-18 15:40:17
1786
转载 基于zookeeper实现分布式锁
前言：2016春节之后一直比较忙，因此博客N个没有更新，现在也是忙里偷闲，偷偷的更新一篇！一、分布式锁介绍 分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问，以达到保证数据的一致性。二、架构介绍 在介绍使用Zookeeper实现分布式锁之前，首先看当前的系统架构图
2016-08-09 17:04:12
490
原创 Django 管理界面
正如我们之前多次提到过的，Django的管理界面是该框架的杀手级特性之一，多数 Django开发人员都知道它既省时又好用。由于该管理界面极受欢迎，对 Django开发人员来说，想对它进行定制和拓展是件很平常的事情。Django管理站点的最后几节介绍了定制部分管理界面的一些简单方法。进入本章之前，请先复习一下那部分资料；其中涵盖了如何定制管理接口的 change list和 ed
2016-08-08 17:39:03
3363
原创 Django集成已有的数据库和应用
Django最适合于所谓的green-field开发，即从头开始的一个项目，正如你在一块还长着青草的未开垦的土地上从零开始建造一栋建筑一般。然而，尽管Django偏爱从头开始的项目，将这个框架和以前遗留的数据库和应用相整合仍然是可能的。本章就将介绍一些整合的技巧。与遗留数据库整合Django的数据库层从Python代码生成SQL schemas—但是对于遗留数据库，你已经拥有SQL s
2016-07-29 18:48:33
8417
原创 Django中间件
在有些场合，需要对Django处理的每个request都执行某段代码。这类代码可能是在view处理之前修改传入的request，或者记录日志信息以便于调试，等等。这类功能可以用Django的中间件框架来实现，该框架由切入到Django的request/response处理过程中的钩子集合组成。这个轻量级低层次的plug-in系统，能用于全面的修改Django的输入和输出。每个中间件组件都用
2016-07-26 15:39:18
3525
1
转载 大数据时代的技术hive：hive介绍
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapR
2016-07-25 16:24:39
411
原创 Django集成的子框架
Python有众多优点，其中之一就是“开机即用”原则：安装Python的同时安装好大量的标准软件包，这样你可以立即使用而不用自己去下载。Django也遵循这个原则，它同样包含了自己的标准库。这一章就来讲这些集成的子框架。Django标准库Django的标准库存放在django.contrib包中。每个子包都是一个独立的附加功能包。它们互相之间一般没有必然的关联，但是有些django
2016-07-24 21:38:02
2986
原创 Django缓存机制
静态的网站的内容都是些简单的静态网页直接存储在服务器上，可以非常容易地达到非常惊人的访问量。但是动态网站因为是动态的，也就是说每次用户访问一个页面，服务器要执行数据库查询，启动模板，执行业务逻辑到最终生成一个你说看到的网页，这一切都是动态即时生成的。从处理器资源的角度来看，这是比较昂贵的。对于大多数网络应用来说，过载并不是大问题。因为大多数网络应用并不是washingtopost.com或Sl
2016-07-20 14:29:27
7751
转载 大数据时代的技术hive：hive介绍
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapR
2016-07-18 16:35:55
1286
原创 Django会话、用户和注册
是时候承认了：我们有意的避开了web开发中极其重要的方面。到目前为止，我们都在假定，网站流量是大量的匿名用户带来的。这当然不对，浏览器的背后都是活生生的人(至少某些时候是)。我们忽略了一件重要的事情：互联网服务于人而不是机器。要开发一个真正令人心动的网站，我们必须面对浏览器后面活生生的人。很不幸，这并不容易。HTTP被设计为”无状态”，每次请求都处于相同的空间中。在一次请求和下一次请求之间
2016-07-18 16:30:07
4194
转载 网站测速服务 查看自己网站在全球的打开速度
网站打开速度是一个值得重视的问题，影响效率和心情。自从更换主题以来，不断对其进行优化，闲着没事也测试用各种服务进行网站访问加载速度测试。虽然很多开发工具都带有速度测试功能，但那毕竟只是本机测试嘛。因此，A.shun收集了12个优秀的网站测速站点。它们各有特色，但都具有免费、免注册、支持多浏览器的特点。不必太认真，测试着玩玩就好。Numion Stopwatch输入你想要测试
2016-07-15 14:52:50
7596
1
原创 Django输出非HTML内容
通常当我们谈到开发网站时，主要谈论的是HTML。当然，Web远不只有HTML，我们在Web上用多种格式来发布数据：RSS、PDF、图片等。到目前为止，我们的注意力都是放在常见 HTML代码生成上，但是在这一章中，我们将会对使用 Django生成其它格式的内容进行简要介绍。Django拥有一些便利的内建工具帮助你生成常见的非HTML内容：§ RSS/Atom聚合文件§ 站
2016-07-15 14:48:20
1500
原创 Django深入模板引擎
虽然和Django的模板语言的大多数交互都是模板作者的工作，但你可能想定制和扩展模板引擎，让它做一些它不能做的事情，或者是以其他方式让你的工作更轻松。如果你想扩展模板系统或者只是对它的工作原理感觉到好奇，涉及了你需要了解的东西。如果你想把Django的模版系统作为另外一个应用程序的一部分（比如，仅使用django的模板系统而不使用Django框架的其他部分），那你一定要读一下“配置独立模式
2016-07-14 16:18:14
5075
转载 GitBash+GitLab+Eclipse使用攻略非常详细版
Git简介及GitLab使用 一、Git Bash 安装 Git使用的版本为1.9.4,因为我的服务器上的gitlab是1.7的，客户端要不服务端的版本要高才可以。 下载地址：https://git-scm.com/download双击Git-1.9.4-preview20140611.exe文件，进入安装界面，如下图： 2. 两步next后选择安装目录，如下图：
2016-07-13 16:38:59
1374
原创 Django通用视图讲解
在最坏的情况下， Web 开发是一项无聊而且单调的工作。到目前为止，我们已经介绍了 Django怎样在模型和模板的层面上减小开发的单调性，但是 Web开发在视图的层面上，也经历着这种令人厌倦的事情。Django 的generic views可以减少这些痛苦。它抽象出一些在视图开发中常用的代码和模式，这样就可以在无需编写大量代码的情况下，快速编写出常用的数据视图。事实上，前面章节中的
2016-07-13 16:31:57
2969
转载 面向移动设备的HTML5开发框架
很久以前整理了篇将手机网站做成手机应用的JS框架。时隔一年多，很多新的技术已经出现，下面再来总结下还有哪些框架是适合面向手机设备的开发的。 1、jQuery Mobile jQuery Mobile 是 jQuery 在手机上和平板设备上的版本。jQuery Mobile 不仅会给主流移动平台带来jQuery核心库，而且会发布一个完整统一的jQuery移动UI框架。支持
2016-07-12 14:34:59
903
用户画像技术剖析99.zip
2020-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人