2013年11月_刨坑数据

转载库外计算降低数据仓库（DW）的扩容压力

数据仓库是企业商业智能的核心，随着近几年全球信息化水平的爆发增长，企业的业务数据也随之大幅度增长，数据仓库面临着更加多样化、复杂化的要求以及更大的扩容压力。如何降低DW的扩容成本，是每个IT经理都在关心的问题。来看这样一个例子，某企业数据仓库现有配置:服务器：2台高性能数据库服务器。存储空间：5TB高性能磁盘阵列。CPU:8颗高性能CPU用户许可：100个

2013-11-28 15:09:04 1155

数组无论在哪种编程语言中都算是最重要的数据结构之一，同时不同语言的实现及处理也不尽相同。但凡写过一些程序的人都知道数组的价值及理解数组的重要性，与链表一道，数组成为了基本的数据结构。尽管Java提供了很棒的集合API和集合类如：ArrayList、HashMap，他们内部都是基于数组。如果你是来自于c或c++背景的程序员，那么你会发现一些关于数组的行为和如何在Java工作中的异同。最值得注意的是C

2013-11-27 11:32:36 1008

原创几种数据计算工具，总有一款适合你

数据是枯燥的，码农天天面对枯燥。友好的数据工具，让码农换一个角度操作数据，至少不那么枯燥，分组汇总排序钻取分析总有一款适合你。DataWrangler：由斯坦福大学的可视化组设计来清洗和重排数据的，进行文本编辑非常简单，适用于excel等程序，DataWrangler是基于网络的服务，使用时必须把数据上传到外部网站。对于敏感的内部数据，DataWrangler不合适。

2013-11-25 15:09:05 1198

转载 5种java数据计算层的解决方法

原帖：http://datamachine.iteye.com/admin/blogs/1965609，重新编辑整理了一下。数据计算层是指介于数据持久层和应用程序层之间，负责计算来自数据持久层的数据，并将计算结果返回应用程序层的层次。JAVA的数据计算层主要是为了降低应用程序层和数据持久层之间的耦合性，分担它们的计算压力。它应当符合如下特征：1. 可以统一的计算来自任意数

2013-11-19 09:24:58 1714

转载 SQL还有多少“理所当然”？

转自：http://blog.chinaunix.net/uid-29242841-id-3968998.html，不是很复杂的东西，但思想很深刻，有点长。正文：发明SQL的主要目的是为结构化数据提供一种屏弊数据物理存储方案的访问方法，因此SQL中大量使用了类英语的词汇和语法以降低理解和书写困难。作为SQL基础理论的关系代数是个完备的计算体系，原则上可以计算一切。这样看来，我们理所应当

2013-11-15 14:52:18 689

转载 Hadoop中小规模集群的并行计算缺陷

转自：http://datamachine.iteye.com/admin/blogs/1972376 Hadoop在实际使用中，很多用户会发现Hadoop性能较差、结构复杂、开发困难，并不如想像中的那么好。这是因为Hadoop的并行计算框架是重量级的MapReduce，其设计目标是支持几百或上千台的大集群，为了有效地利用大集群的资源和保证容错性，MapReduce的体系结构设计得很复杂

2013-11-11 09:42:15 999

转载从Oracle到MySQL，余额宝云实践分享——技术迁移实录

干货很多（越来越发现csdn是个好地方），原文：http://www.csdn.net/article/2013-11-07/2817426-interview-financial-case-yuerbao-aliyun。总结：1、余额宝分一期和二期工程，稳妥起见一期采用传统IOE的架构，总投资400多万。但数据量和交易量的增长远超平台承受能力，以至于到了二期时，如果还采用IOE的

2013-11-08 10:08:45 1421

转载在谷歌工作那些最糟糕的事情

前今天看到英文版的，没想到csdn给译过来了，嘿嘿。原帖地址：http://www.csdn.net/article/2013-11-04/2817379-google-employees-confess-the-worst-things-about-working总结几点：1、聪明人太多，以至于他们也只能去干删除不法视频的简单伙计；2、办公室政治；3、在正确的项目组里做正确的事儿

2013-11-07 16:32:04 597

转载 Hadoop如何实现关联计算

转贴存档，原帖地址：http://datamachine.iteye.com/admin/blogs/1963256。选择Hadoop，低成本和高扩展性是主要原因，但但它的开发效率实在无法让人满意。以关联计算为例。假设：HDFS上有2个文件，分别是客户信息和订单信息，customerID是它们之间的关联字段。如何进行关联计算，以便将客户名称添加到订单

2013-11-06 13:44:25 753

转载 Spark开始商用

csdn的新闻更新真快，10月31日快报，原帖：http://www.csdn.net/article/2013-10-31/2817360。要点：Cloudera与初创公司Databricks展开了一项合作，在Cloudera的Hadoop软件内集成和支持Apache Spark数据处理平台。Cloudera决定提供Apache Spark的全企业级支持——类似Hadoo

2013-11-04 14:42:34 1054

u012388497的专栏