nxcjh321的专栏

转载 欠自己的旅行，你打算什么时候还？

记得18岁的时候你豪言壮语，励志要环游世界！等到23岁的时候你说定要升职加薪，攒够钱就走！转眼28岁，你忙着买房买车你说等成家了，带着老婆一起旅行！

转载 Hadoop-2.7.0 源码导入

1)        系统配置：Win764位机上安装VMWARE10Eclipseubuntu14.10hadoop2.7.02)    前期准备Ø  安装了maven,我安装的是maven3.0.5Ø  安装了JDK，我安装的是JDK1.7.0_79Ø  确保网络通畅3)    通过maven获取源码Ø  进入源码中

转载 hadoop----eclipse导入hadoop源码

首先保证已经安装 jdk ； maven ； protoc(不然编译源码报错下载地址) ； eclipse m2e插件设置maven镜像 maven\conf\settings.xmlmirrors> mirror> id>nexus-oscid> mirrorOf>*mirrorOf> name>Nexus

转载 hadoop----eclipse导入hadoop源码

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

转载 hadoop 2.7.1源码导入eclipse

最近在学习Hadoop，故想奖其源码导入Eclipse中，便于查看源码。 准备下面是要求的清单：（我是在opensuse上完成所有的编译，然后再将其拷贝到windows系统，有兴趣的童鞋可以直接在windows上编译）---------------------------------------------------------------------------

转载 程序员要投资的那些事

投资为某一事业奉献时间和精力，并期待有价值的结果。0. 健康        毫无疑问，软件开发是坐的最久的工作之一。每天坐8-16个小时，期间很少休息，是增加肚子上的脂肪的绝佳方式。肥胖会让其他各种疾病风险增大，尤其是心脏病。分出一定时间用于体育锻炼，可能的话，再多花点时间参加健身房活动，可以避免肥胖。 长期以不正确的姿势打字同样也会带给开发者重复性劳损，像腕管综合征。每几个小时拉伸下

转载 数据仓库实施步骤与关键成功因素

原创 维度建模的10大基本原则

遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。　　原则1、载入详细的原子数据到维度结构中　　维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤和分组请求，用户通常不希望每次只看到一个单一的记录，但是你无法预测用户想要掩盖哪些数据，想要显示哪些数据，如果只有汇总数据，那

转载 数据仓库建设中的数据建模方法

一. 什么是数据模型        数据模型是抽象描述现实世界的一种工具和方法, 是通过抽象的实体及实体之间联系的形式, 来表示现实世界中事务的相互关系的一种映射. 数据模型表现的抽象的是实体和实体之间的关系, 通过对实体和实体之间关系的定义和描述, 来表达实际的业务中具体的业务关系, 通过对实体和实体之间关系的定义和描述, 来表达实际的业务中具体的业务关系. 数据仓库模型是数据模型中针对

转载 腾讯-- TDW数据仓库数据安全

互联网时代，大数据扮演着极为重要的角色；腾讯作为中国最大社交平台，具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台，集中了公司90%以上产品（近400款）的核心数据，覆盖全部BG，积累约4000个开发者，如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据？本文将从数据生命周期（传输—>存储—>使用）角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。

转载 腾讯数据仓库 -- 平台综述

腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户。特别是随着传统业务增长放缓，以及移动互联网时代的精细化运营，对于大数据分析和挖掘的重视程度高于以往任何时候，如何从大数据中获取高价值，已经成为大家关心的焦点问题。在这样的大背景下，为了公司各业务产品能够使用更丰富优质的数据服务，近年腾讯大数据平台得到迅猛发展。

原创 数据仓库--名词解释

1. ODS(Operational Data Store)        ODS 为企业提供及时的, 操作型的, 集成的数据集合, 具有面向主题性, 集成性, 动态性, 及时性,明细性等特点.        ODS 作为数据库到数据仓库的一种过渡形式, 与数据仓库在物理结构上不同, 能提供高性能的响应时间, ODS设计采用混合设计方式.ODS中的数据是"实时值", 而数据仓库的数据却是"

转载 构建企业级数据仓库的五步法

一. 确定主题       即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑. 二. 确定量度确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供有用的信息. 量度

转载 ETL架构师面试题

本部分的题目来自Kimball的ETL Toolkit著作，原著未直接给出答案。这里的中文题目和答案是我参考其原著按自己的理解整理而来的，仅供参考。对于其中不确切的地方，欢迎大家一起沟通。有兴趣的朋友可以直接阅读原著。分析1．什么是逻辑数据映射？它对ETL项目组的作用是什么？2．在数据仓库项目中，数据探索阶段的主要目的是什么？3．如何确定起始来源数据？架

转载 基于BI应用的数据仓库建模归纳

前言: 至于数据仓库架构该怎么建, 怎么优化, ETL怎么设计, 维度模型设计技巧等, 不在此讨论范围, 独立的讨论对于BI从业者来说如同天书, 不会有太多的感受和深入理解的, 因为太抽象, 很难与实际项目相结合. 另外关于数据仓库构建是"数据驱动", 还是"业务驱动", 通过本文会有一些见解.      开篇: 首先数据仓库有两大功能: 一是企业数据的整合与历史信息的存储; 二是支持

原创 数据仓库与操作数据库的差异

数据仓库的定义并没有统一的说法, 通常人们认可的概念是: 面向主题的, 集成的, 稳定的, 时间的数据集合, 支持管理者的决策过程. 数据仓库中的数据面向分析处理而组织, 而面向事务处理型的数据库是日常操作型应用, 不能满足决策分析要求.又数据仓库是面向决策分析型的特点可以概括出数据仓库的四个基本特征: 1. 数据仓库的数据是面向主题的;2. 数据仓库的数据是集成的;3. 数据仓库

转载 什么是大数据？漫谈大数据仓库与挖掘系统

什么是大数据？漫谈大数据仓库与挖掘系统任何比较关注业界新闻的人，都会知道近两年数字信息领域的几个关键字: 移动端、LBS、SNS和大数据(Big Data)。前边三个，大家应该是很熟悉的，因为身边早已充斥着相关的应用。唯独最后一个大数据，在大部分人眼中却是非常陌生的，除了知道如数据挖掘、智能推荐等几个看似非常高深的词汇之外，却是不知其里的。 本文作者忽悠真人是阿里巴巴集团数据平