(原文地址:
http://blog.csdn.net/codemosi/article/category/2777045,转载麻烦带上原文地址。hadoop hive hbase mahout storm spark kafka flume,等连载中,做个爱分享的人
)
shark 相当于是hive on spark, 用法和hive 大致是一样的。
还是一样。从代码开始。
![奋斗](http://static.blog.csdn.net/xheditor/xheditor_emot/default/struggle.gif)
1:创建表
CREATE EXTERNAL TABLE user
(
DT STRING,
username STRING,
password STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/rdc/user/'
2:创建内存表(_cached结尾的表为内存表,表放在内存中,处理SQL查询相当的快)
CREATE TABLE user_cached AS SELECT * FROM user
3:查询功能,和hive 的区别就是对SQL语句的执行。shark使用spark来算,使用上是一样的,输入SQL 得到查询结果,各种SQL查询语句就不演示了。
4: shark 将SQL查询结果,直接转换成RDD传给spark
shark具有spark的好处 cache后的RDD存在内存中,下次可以直接使用。也就是说shark可以把表存在内存中,这种模式基于内存来算,减少了IO,加上spark的transformation的迭代正是mapreduce的缺点!并且执行是不像hive一样还要开个mapreduce,慢。
当然shark 也有缺点。基于hive的代码改造的,hive是进程安全的,因为hive执行使用mapreduce,进程安全就够了。shark执行是spark来做。要求线程安全。不然可能你一样的SQL出来的结果不一样。所以还要安装一个hive的补丁包。