数据技术控

学习笔记备忘录。。。

SparkSql搭建

Spark on yarn已搭建好,开始使用SparkSql,做如下工作

1、将hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout

2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录

3、配置spark-env.sh

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g


阅读更多
个人分类: Spark
上一篇ip库处理
下一篇presto实时查询引擎搭建
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭