SparkSql搭建

原创 2015年11月19日 20:19:02

Spark on yarn已搭建好,开始使用SparkSql,做如下工作

1、将hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout

2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录

3、配置spark-env.sh

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g


sparkSQL1.1入门之五:测试环境之搭建

前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive...

SPARKSQL-1.0.1

  • 2015年10月22日 17:27
  • 21KB
  • 下载

SparkSQL小结

  • 2017年11月06日 00:06
  • 5.38MB
  • 下载

SparkSql读取数据和插入数据

sparksql读取数据和写入数据

sparkSQL连接cassandra和mysql的demo

  • 2017年11月09日 09:33
  • 148KB
  • 下载

Elasticsearch加速SparkSQL查询-李振炜

  • 2017年04月14日 18:08
  • 311KB
  • 下载

sparkSQL中UDF的使用

在spark中使用sql时可能会想自定义一些函数,可以使 udf 来实现,下面举了几个简单易懂的例子。...
  • lsshlsw
  • lsshlsw
  • 2015年12月24日 23:33
  • 3043

SparkSQL原理和实践

  • 2017年02月24日 11:21
  • 3.21MB
  • 下载

使用Spark core和SparkSQL的窗口函数分别实现分组取topN的操作

在spark 1.4及以上版本中,针对sparkSQL,添加了很多新的函数,进一步扩展了SparkSQL对数据的处理能力。 本篇介绍一个强大的窗口函数 row_number()函数,常用于对数据进行...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SparkSql搭建
举报原因:
原因补充:

(最多只允许输入30个字)