1、SparkSQL配置
- 将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。
- 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。
2、运行
- 启动Spark集群
- 启动SparkSQL Client:./home/spark/opt/spark-1.2.0-bin-hadoop2.4/bin/spark-sql --master spark://172.16.107.9:7077 --executor-memory 1g
- 运行SQL,访问hive的表:spark-sql>select count(*) from test.t1;
注意:
在启动spark-sql时,如果不指定master,则以local的方式运行,master既可以指定standalone的地址,也可以指定yarn;
当设定master为yarn时(spark-sql--master yarn)时,可以通过http:// 172.16.107.9:8088页面监控到整个job的执行过程;
如果在$SPARK_HOME/conf/spark-defaults.conf中配置了spark.masterspark:// 172.16.107.9:7077,那么在启动spark-sql时不指定master也是运行在standalone集群之上。
3、可能的问题
在启动的时候,报字符串输入不正确,根据提示到$SPARK_HOME/conf/hive-site.xml修改正确即可正确启动。
参考:
http://doc.okbase.net/byrhuangqiang/archive/104202.html
http://www.cnblogs.com/shishanyuan/p/4723604.html?utm_source=tuicool