- 博客(5)
- 资源 (14)
- 收藏
- 关注
原创 sparkSQL1.1入门之一:为什么sparkSQL
2014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。 Spark1.1.0中变化较大是sparkSQL和MLlib,sparkSQL1.1.0主要的变动有:增加了JDBC/ODBC Server(ThriftServer),
2014-09-15 09:46:59 16551 1
原创 sparkSQL1.1入门之八:sparkSQL之综合应用
Spark之所以万人瞩目,除了内存计算,还有其ALL-IN-ONE的特性,实现了One stack rule them all。下面简单模拟了几个综合应用场景,不仅使用了sparkSQL,还使用了其他Spark组件:店铺分类,根据销售额对店铺分类货品调拨,根据货品的销售数量和店铺之间的距离进行货品调拨 前者将使用sparkSQL+MLlib的聚类算法,后者将使用s
2014-09-11 09:18:28 6882 1
原创 sparkSQL1.1入门之六:sparkSQL之基础应用
sparkSQL1.1对数据的查询分成了2个分支:sqlContext 和 hiveContext。 在sqlContext中,sparkSQL可以使用SQL-92语法对定义的表进行查询,表的源数据可以来自:RDDparquet文件json文件 在hiveContext中,sparkSQL可以使用HQL语法,对hive数据进行查询,sparkSQ
2014-09-10 09:16:16 20355 1
原创 sparkSQL1.1入门之五:测试环境之搭建
前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件,相关的信息如下:hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点:http:
2014-09-10 08:47:39 6892 3
原创 sparkSQL1.1入门之七:ThriftServer和CLI
spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL,在真正意义上进入了SQL时代。下面先简单介绍其使用,限于时间关系,以后再附上源码分析。1:ThriftServer和CLI的命令参数A:令人惊讶的CLI
2014-09-09 10:41:31 16533 3
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (13-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (12-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (11-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (10-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (9-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (8-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (7-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (6-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (5-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (4-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (3-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen (2-13)
2010-03-25
Xceed.Ultimate.Suite.2009.v3.2.9356.Incl.Keygen-1(1-13)
2010-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人