2014年09月_mmicky20110730

10月 09月 07月 06月 05月

原创 sparkSQL1.1入门之一：为什么sparkSQL

2014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部署包生成。 Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要的变动有：增加了JDBC/ODBC Server（ThriftServer），

2014-09-15 09:46:59 16474 1

原创 sparkSQL1.1入门之八：sparkSQL之综合应用

Spark之所以万人瞩目，除了内存计算，还有其ALL-IN-ONE的特性，实现了One stack rule them all。下面简单模拟了几个综合应用场景，不仅使用了sparkSQL，还使用了其他Spark组件：店铺分类，根据销售额对店铺分类货品调拨，根据货品的销售数量和店铺之间的距离进行货品调拨前者将使用sparkSQL+MLlib的聚类算法，后者将使用s

2014-09-11 09:18:28 6814 1

原创 sparkSQL1.1入门之六：sparkSQL之基础应用

sparkSQL1.1对数据的查询分成了2个分支：sqlContext 和 hiveContext。在sqlContext中，sparkSQL可以使用SQL-92语法对定义的表进行查询，表的源数据可以来自：RDDparquet文件json文件在hiveContext中，sparkSQL可以使用HQL语法，对hive数据进行查询，sparkSQ

2014-09-10 09:16:16 20245 1

原创 sparkSQL1.1入门之五：测试环境之搭建

前面介绍了sparkSQL的运行架构，后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前，我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件，相关的信息如下：hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点：http:

2014-09-10 08:47:39 6798 3

原创 sparkSQL1.1入门之七：ThriftServer和CLI

spark1.1相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。1：ThriftServer和CLI的命令参数A：令人惊讶的CLI

2014-09-09 10:41:31 16423 3

hadoop2.4.0源码

hadoop2.4.0的源代码，目前官网已经不提供下载了，共享是为了给使用spark的朋友编译的时候使用。

2015-01-07

Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen （13-13）

Xceed Ultimate Suite是一个包括了所有Xceed顶级.NET和ActiveX可视化组件的开发工具包。品质特点：所有组件都提供完全免费的二次分发的权利。所有的组件都具有非常充分的文档资料并且包括了一系列的示范程序。所有组件都是多线程的，被独立设计不依靠任何其它额外的运行库文件。所有的组件都具有丰富的功能并且易于使用。 BluePrint版本为高级用户提供所包括的.NET组件的全部源代码。发布说明：适用于安装.NET和ActiveX作业平台，包含注册机。

2010-03-25