spark
hyalone2010
这个作者很懒,什么都没留下…
展开
-
spark定制之七:解决spark 1.0.1 import问题
spark-1.0.1\repl\src\main\scala\org\apache\spark\repl、原创 2014-07-14 19:47:57 · 1193 阅读 · 0 评论 -
shark等待文件死锁问题
多个shark进程访问同一路径会出现死锁问题原创 2014-07-03 06:40:48 · 1076 阅读 · 0 评论 -
sql on RDD字段数受限22个
spark1.0支持基于RDD的sql,如果用case class的方式原创 2014-07-03 08:22:59 · 1636 阅读 · 0 评论 -
Apache Spark源码走读之2:Job的提交与运行
http://database.51cto.com/art/201407/444558.htm转载 2014-07-05 23:37:28 · 799 阅读 · 0 评论 -
spark定制之二:start.scala中的DSL
通过类的隐式转换可以让命令看qild原创 2014-07-08 16:28:33 · 1581 阅读 · 0 评论 -
spark定制之四:完整的start.scala
从HDFS中读入,定义内存表"create table sometable (name string,age int,weight double)" from "hdfs:/test/testperson"查询vi"select * from testperson" hqlsaveto "somelocalfile"原创 2014-07-08 16:42:03 · 1226 阅读 · 1 评论 -
spark定制之五:使用说明
在spark-shell中可以定制成接近shark的操作,让熟悉sql的人轻松上手。原创 2014-07-10 09:13:00 · 1696 阅读 · 0 评论 -
spark定制之六:sql版start.scala
定制spark让sql更简单,上个版本的start.scala用的是HiveContext,这个是SQLContext的,不需编译。原创 2014-07-13 10:20:28 · 1323 阅读 · 0 评论