2014年10月_mmicky20110730

10月 09月 07月 06月 05月

原创 spark1.1.0学习路线

经过一段时间授课，积累下不少的spark知识，想逐步汇总成资料，分享给小伙伴们。对于想视频学习的小伙伴，可以访问炼数成金网站的《spark大数据平台》课程，每周的课程是原理加实际操作。最新的课程是第3期，至于费用，越认真学习，学习成本越低。从Spark1.1.0开始，重新规划了一下学习路线，由于涉及的内容比较多，会不断的完善其中的内容，争取在Spark1.2.0形成一个完整的体

2014-10-24 12:12:38 6246 3

原创 sparkSQL1.1入门之三：sparkSQL组件之解析

上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法（Tree和Rule的配合），也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext的关键的概念和组件。概念：Logi

2014-10-27 10:58:09 6974 3

原创 sparkSQL1.1入门之九：sparkSQL之调优

spark是一个快速的内存计算框架；同时是一个并行运算的框架。在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。木桶原理又称短板理论，其核心思想是：一只木桶盛水的多少，并不取决于桶壁上最高的那块木块，而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上，系统的最终性能取决于系统中性能表现最差的组件。例如，即使系统拥有充足的内存资源和

2014-10-23 11:28:21 10222 2

原创 sparkSQL1.1入门之十：总结

回顾一下，在前面几章中，就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。基本概念：SchemaRDDRuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan运行架构：sqlContext运行架构hiveContext运行架构基本操作原生RDD的操作parquet文件的操作j

2014-10-23 11:19:47 3257 1

原创 sparkSQL1.1入门之四：深入了解sparkSQL运行计划

前面两章花了不少篇幅介绍了SparkSQL的运行过程，很多读者还是觉得其中的概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子，没点印象，只知道名词，感觉很缥缈。本章就着重介绍一个工具hive/console，来加深读者对sparkSQL的运行计划的理解。1：hive/console安装 spa

2014-10-22 08:59:39 5780

原创 sparkSQL1.1入门之二：sparkSQL运行架构

在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询：SELECT a1,a2,a3 FROM tableA Where condition 可以看得出来，该语句是由Projection（a1，a2，a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过程中的Result

2014-10-10 09:15:04 9420 3

hadoop2.4.0源码

hadoop2.4.0的源代码，目前官网已经不提供下载了，共享是为了给使用spark的朋友编译的时候使用。

2015-01-07

Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen （13-13）

Xceed Ultimate Suite是一个包括了所有Xceed顶级.NET和ActiveX可视化组件的开发工具包。品质特点：所有组件都提供完全免费的二次分发的权利。所有的组件都具有非常充分的文档资料并且包括了一系列的示范程序。所有组件都是多线程的，被独立设计不依靠任何其它额外的运行库文件。所有的组件都具有丰富的功能并且易于使用。 BluePrint版本为高级用户提供所包括的.NET组件的全部源代码。发布说明：适用于安装.NET和ActiveX作业平台，包含注册机。

2010-03-25