全栈知识

理解Spark的核心RDD作者 张逸 发布于 2014年8月31日 后阅读与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Graph等。这即Matei Zaharia所谓的“设计一个通用的编程抽

摘要: @Container大会是由国内容器社区DockOne组织的专为一线开发者和运维工程师设计的顶级容器技术会议。今天有1200多位小伙伴顶着北京的寒冬来到现场。这是我在这个大会上的演讲。@Container大会是由国内容器社区DockOne组织的专为一线开发者和运维工程师设计的顶级容器技术会议。今天有1200多位小伙伴顶着北京的寒冬来到现场。本文是大会的第一场演讲内容，讲

Kylin, Mondrian, Saiku系统的整合19 APRIL 2016 on OLAP, Kylin, Saiku, Mondrian本文主要介绍有赞数据团队为了满足在不同维度查看、分析重点指标的需求而搭建的OLAP分析工具。这个工具对Kylin、Mondrian以及Saiku做了一个整合，主要工作包括一些定制化的修改以及环境的配置。 目前这个系统还处于一个需要优化、完善的过程，

Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。Common/Shuffle/Reduce Join

作者: Divakar等  来源: DeveloperWorks     原文链接   摘要：本文介绍一种评估大数据解决方案的可行性的基于维度的方法。通过回答探索每个维度的问题，您可以通过自己对环境的了解来确定某个大数据解决方案对您是否适合。仔细考虑每个维度，就会发现有关是否到了改进您的大数据服务的时候的线索。　　简介　　在确定投资大数据解决方案之前，评估可用于分析

作者: Divakar等  来源: DeveloperWorks     原文链接 摘要：大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层列出了大数据解决方案的关键组件，包括从各种数据源获取数据的位置，以及向需要洞察的流程、设备和人员提供业务洞察所需的分析。　　概述　　这个 “

作者: Divakar等  来源: DeveloperWorks     原文链接 摘要：本文中介绍的模式有助于定义大数据解决方案的参数。本文将介绍最常见的和经常发生的大数据问题以及它们的解决方案。原子模式描述了使用、处理、访问和存储大数据的典型方法。复合模式由原子模式组成，并根据大数据解决方案的范围进行分类。由于每个复合模式都有若干个维度，所以每个模式都有许多变化。复合模式使得业务和技术

作者: Divakar等  来源: DeveloperWorks  原文链接 摘要：本文使用了一个基于场景的方法，概述了可能有助于定义大数据解决方案的解决方案模式。每个场景都从一个业务问题开始，并说明为什么需要大数据解决方案。本文会将一个具体的解决方案模式（由原子模式和复合模式组成）应用到业务场景。这个逐步分析的方法有助于用户确定解决方案所需的组件。在文章的末尾，提供了一些建议使用的典型产

作者: Divakar等  来源: DeveloperWorks   原文链接 摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。　　相关文章：　　 大

来源：数据观 时间：2016-09-05 11:05:27 作者：灯塔大数据2016年9月4日，CDAS2016第三届中国数据分析师行业峰会在北京国际会议中心成功举办，中国电信云计算重点实验室执行副主任杨明川主任，在峰会上做了题为《中国电信灯塔大数据应用实践》的主题演讲，以下是演讲实录： 大家好，非常高兴今天有机会能够跟大家分享一下《中国电信灯塔大数据应用实践》

【译者介绍】蔡延亮，北京大学计算机硕士毕业，明略数据技术合伙人。专注于大数据解决方案的研发和实施，拥有丰富的大数据分析平台建设实施经验。熟悉商务智能（BI）系统的设计、架构和演进规划，擅长其在电信运营商的应用；在数据ETL处理、模型设计、数据备份、生命周期管理、安全管理等领域有丰富的实践经验；熟悉数据挖掘、机器学习等分析算法和工程应用；熟悉软件项目管理。导读：One

吴甘沙清华演讲：大数据的十个技术前沿（完结篇）来源：数据派 时间：2015-01-05 17:39:06 作者：清华大数据产业联合会　　吴甘沙院长从大数据技术前沿的十个问题入手，对大数据产业进行了深度解析。讲座分为三部分：　　- 领先的大数据科研单位和企业正在如何利用大数据　　- 解决大量的数据前提下，优化实时计算技术　　- 怎样通过数据采集与分析做

2016年大数据发展趋势预测(PPT)来源：数据观 时间：2015-12-11 10:58:35 作者：大数据文摘　　BDTC2015中国大数据技术大会于12月10日在北京召开，会上，启明星辰公司副总裁，CCF大数据专家委员会副秘书长潘柱延代表CCF大数据专家委员会发布了中国大数据技术与产业发展报告（2015），对2016年大数据发展趋势进行了展望，请看大数据文摘从现场发回的图

WHAT IS CLOUD COMPUTING STACK (SAAS, PAAS, IAAS) Jun 16, 2014 Majid Ali MazikCloud (No Comments)Recently, I read an article that Gartner has named Microsoft as

一个虚拟化老兵的Docker浅见-1转自：http://geek.csdn.net/news/detail/54775近来Docker原来越火，也吸引了我这个6年虚拟化从业者的注意。笔者对Docker的技术细节并不十分熟悉，也还在学习过程中。但笔者见证了虚拟化技术兴起的全过程，参考对照虚拟化技术，笔者对Docker为什么会在当前这个时间点火起来，Docker与虚拟化的技术对比，我们

中国移动浙江公司数据中心操作系统（DCOS）实践作者 钟储建 发布于 2015年12月15日背景中国移动浙江公司数据中心自2009年开始从小型机为主的架构开始了X86化、IaaS资源池化、PaaS资源池化的发展历程，数据中心在向云计算转型过程中软硬件管理的能力和效率上面临着诸多挑战：1) 应用的快速部署开通受到极大制约：大部分应用系统有开发、

过去十年云计算的发展，在 IT 领域为共享经济提供了新的机遇；而过去五年移动互联网的兴起，更是在诸多方面给 IT 架构提出了新的挑战。新的挑战，新的机遇，同时也意味着新的活力。一时间， Docker 、微服务、 DevOps 以及精益研发等新词汇，在较短的时间内，即充斥着整个 IT 行业。基础设施领域，巨头的垄断，以及技术壁垒的存在，往往会限制入局者，也让后来者望而却步。面对业务需求的不断演进，软

在阿里巴巴最新发布的财报中，阿里云的收入已经达到了30亿人民币，同比增速138%，成为阿里巴巴四大新兴主营业务之一。与此同时，马化腾开始亲自出来为腾讯云站台，表示腾讯云其实非常强大，但过去只是内部使用，现在终于要彻底开放了，今年腾讯云的增速也超过了100%。而麻烦缠身的百度，在云端市场居然也不甘落后，李彦宏甚至特地发表演讲声称百度作为一家搜索公司，其实本质就是一家做云的公司

本文由 乔永琪 翻译英文出处：ben stopford译注：本文是作者2015年在 Progscon & JAX Finance 大会上的同名主题演讲《Elements of Scale: Composing and Scaling Data Platforms》。@何_登成 的推荐语：此文很长，但长而不臭，而且配图非常Q。作者以简洁易懂的文字，将数据库设计中应该考虑的存储

by Alexey Grishchenko转自：https://0x0fff.com/hadoop-vs-mpp/Over the latest time I’ve heard many discussions on this topic. Also this is a very popular question asked by the customers with not much exper...