Spark1.4发布,除了重量级的SparkR,其中的SparkSQL支持了我期待已久的窗口分析函数(window functions),关于Hive中窗口分析函数的用法可参考 Hive分析函数系列 文章。
在我们的数据平台中,90%以上的离线分析任务都是使用Hive实现,其中必然会使用很多窗口分析函数,如果SparkSQL支持窗口分析函数,
那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低,因此迫不及待将Spark1.4下载试用一下。
关于Spark1.4的安装配置,和1.3无异,安装配置步骤可参考 Spark1.3.1安装配置运行。
这里将Spark1.4 SparkSQL与Hive的整合介绍一下,也非常容易,只需几步配置即可。
前提是你已经安装配置好Hadoop和Hive,并且可正常使用,Hive的安装配置可参考 [一起学Hive]之四-Hive的安装配置 。
我使用的环境:
Hadoop: hadoop-2.2.0
Hive: apache-hive-0.13.1-bin
Spark: spark-1.4.0-bin-hadoop2.2
SparkSQL与Hive的整合
1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目录中,修改spark-env.sh,添加
export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin
export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
3. 另外也可以设置一下Spark的log4j配置文件,使得屏幕中不打印额外的INFO信息:
log4j.rootCategory=WARN, console
好了,SparkSQL与Hive的整合就这么简单,配置完后,重启Spark slave和master.
进入$SPARK_HOME/bin
执行 ./spark-sql –name “lxw1234″ –master spark://127.0.0.1:7077 进入spark-sql:
spark-sql> show databases;
OK
default
lxw1234
usergroup_mdmp
userservice_mdmp
ut
Time taken: 0.093 seconds, Fetched 5 row(s)
spark-sql> use lxw1234;
OK
Time taken: 0.074 seconds
spark-sql> select * from t_lxw1234;
2015-05-10 url1
2015-05-10 url2
2015-06-14 url1
2015-06-14 url2
2015-06-15 url1
2015-06-15 url2
Time taken: 0.33 seconds, Fetched 6 row(s)
spark-sql> desc t_lxw1234;
day string NULL
url string NULL
Time taken: 0.113 seconds, Fetched 2 row(s)
//ROW_NUMBER()
spark-sql> select url,day,row_number() over(partition by url order by day) as rn from t_lxw1234;
url1 2015-05-10 1
url1 2015-06-14 2
url1 2015-06-15 3
url2 2015-05-10 1
url2 2015-06-14 2
url2 2015-06-15 3
Time taken: 1.114 seconds, Fetched 6 row(s)
//COUNT()
spark-sql> select url,day,count(1) over(partition by url order by day) as rn from t_lxw1234;
url1 2015-05-10 1
url1 2015-06-14 2
url1 2015-06-15 3
url2 2015-05-10 1
url2 2015-06-14 2
url2 2015-06-15 3
Time taken: 0.934 seconds, Fetched 6 row(s)
//LAG()
spark-sql> select url,day,lag(day) over(partition by url order by day) as rn from t_lxw1234;
url1 2015-05-10 NULL
url1 2015-06-14 2015-05-10
url1 2015-06-15 2015-06-14
url2 2015-05-10 NULL
url2 2015-06-14 2015-05-10
url2 2015-06-15 2015-06-14
Time taken: 0.897 seconds, Fetched 6 row(s)
spark-sql>
出现问题:MySQL check failed, assuming we are not on mysql: Lexical error at line 1......
1、检查$SPARK_HOME/conf中是否有hive-site.xml文件
2、export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
应该就可以解决问题。