关闭

SparkSql搭建

486人阅读 评论(0) 收藏 举报
分类:

Spark on yarn已搭建好,开始使用SparkSql,做如下工作

1、将hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout

2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录

3、配置spark-env.sh

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g


0
1

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:136561次
    • 积分:2364
    • 等级:
    • 排名:第15769名
    • 原创:97篇
    • 转载:25篇
    • 译文:0篇
    • 评论:11条
    文章分类
    最新评论