SparkSql搭建

原创 2015年11月19日 20:19:02

Spark on yarn已搭建好,开始使用SparkSql,做如下工作

1、将hive-site.xml copy至$SPARK_HOME/conf目录,注意配置hive.metastore.uris、hive.metastore.client.socket.timeout

2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录

3、配置spark-env.sh

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g


spark sql scala 开发环境搭建 以及必要jar包导入

1. scala 环境安装及安装 (官网下载) 2.检验 scala 是否安装成功 3.安装 scala 集成开发环境 IDEA (官网自行下载安装) 4.在 IDEA 上 安装 sca...
  • qq_33813365
  • qq_33813365
  • 2017年04月28日 12:25
  • 1863

大数据环境部署7:SparkSQL配置使用

1、SparkSQL配置 将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。 将$HADOOP_HOME/etc/hadoop...
  • nisjlvhudy
  • nisjlvhudy
  • 2015年10月22日 21:05
  • 2393

Spark的三种分布式部署方式

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式...
  • lifuxiangcaohui
  • lifuxiangcaohui
  • 2016年09月18日 19:17
  • 2277

Spark(八) -- 使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址: 官方下载 选择右下角的Community Edition版本下载安装即可本文中使用的是windows系统 环境为: jdk1.6.0_45 scala2...
  • qq1010885678
  • qq1010885678
  • 2015年05月24日 20:07
  • 10346

sparkSQL1.1入门之五:测试环境之搭建

前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive...
  • book_mmicky
  • book_mmicky
  • 2014年09月10日 08:47
  • 6020

Spark-SQL的安装及使用

安装步骤 下载编译了Hive的Spark版本 官网下载链接给出的都是编译过Hive的(至少1.6版可以确定是)。CDH自带的Spark都是没有带Hive的,若直接运行./spark-sql,会报错如...
  • u012948976
  • u012948976
  • 2016年06月09日 15:24
  • 4194

Spark-SQL--Thrift的安装及使用

安装及使用 配置hive-site.xml 在Spark-SQL的安装及使用.md的基础上,继续对hive-site.xml进行配置,如下 hive.metasto...
  • u012948976
  • u012948976
  • 2016年06月09日 15:39
  • 3821

Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介

1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark,给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具,Hive应运而生...
  • qq_26562641
  • qq_26562641
  • 2017年02月15日 15:44
  • 454

Baidu基于Spark SQL构建即席查询平台

  • 2016年08月10日 21:45
  • 1.51MB
  • 下载

SparkSql搭建

Spark on yarn已搭建好,开始使用SparkSql,做如下工作
  • u011750989
  • u011750989
  • 2015年11月19日 20:19
  • 631
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SparkSql搭建
举报原因:
原因补充:

(最多只允许输入30个字)