SparkSQL访问Hive源

最新推荐文章于 2024-08-04 00:33:27 发布
最新推荐文章于 2024-08-04 00:33:27 发布
阅读量852 收藏 3
点赞数
分类专栏： 大数据 文章标签： sparksql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chy2z/article/details/84206093
版权
本文介绍了如何在SparkSQL环境下，通过命令行模式直接访问Hive源，包括将`hive-site.xml`配置文件复制到Spark目录以及在Java程序中连接Hive的步骤，涉及配置文件的拷贝、依赖添加、SparkSession创建以及测试代码的运行和结果展示。
摘要由CSDN通过智能技术生成

软件环境

hadoop2.7.6
spark-2.3.0
scala-2.11.12
hive-2.1.1

SparkSQL命令行模式可以直接连接Hive的

将hive目录中的 D:\Soft\apache-hive-2.1.1-bin\conf\hive-site.xml 文件拷贝贝到  D:\Soft\spark\conf spark目录中

D:\soft\spark\jars 目录中放 mysql-connector-java-5.1.30.jar 包

Java程序SparkSQL连接Hive

1）将hive目录中的 D:\Soft\apache-hive-2.1.1-bin\conf\hive-site.xml 文件拷贝到  \src\main\resources 资源目录中

 2）添加依赖  

 <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.11</artifactId>
      <version>2.3.1</version>
      <scope>provided</scope>
    </dependency>

 <dependency>
      <groupId>mysql</gr
最低0.47元/天 解锁文章
黑暗行动
关注
专栏目录
sparksql连接hive
yy的博客
12-27 1125
临时使用: spark-sql --queue fcqueue --hiveconf hive.metastore.uris=thrift://192.168.0.29:9083 --database db1--executor-cores 4 --num-executors 3
Spark基础学习笔记27：Spark SQL数据源 - Hive表
howard2005的专栏
05-12 1056
利用Spark SQL读取和写入Hive表
SparkSQL操作Hive数据源
寒暄的博客
08-07 401
连接Hive与SparkSQL 将hive安装目录中conf目录下的hive-site.xml拷贝至spark安装目录下的conf目录。 然后启动SparkShell，运行: spark.sql("show tables").show() spark.sql("show databases").show() 前者为元数据，后者为hive中的库。 如果想要 ...
Spark连接访问Hive数据
最新发布
2401_82567159的博客
08-04 560
Spark访问Hive数据
[Hadoop] 使用Spark SQL来访问Hive里面的数据
Cindy的博客
08-29 3289
1. 环境准备 1.1 安装Hive 1.2 安装Spark 1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下 [hadoop@hadoop000 ~]$ cd app/spark [hadoop@hadoop000 spark]$ cp ~/app/hive-1.1.0-cdh5.7.0/conf/hive-site.xml conf/ 1.4...
Spark SQL 快速入门系列（五）SparkSQL 访问 Hive
weixin_45417821的博客
09-06 1211
文章目录访问 HiveSparkSQL 整合 Hive访问 Hive 表idea实现SparkSQL连接hive 访问 Hive 导读 1，整合 SparkSQL 和 Hive, 使用 Hive 的 MetaStore 元信息库 2，使用 SparkSQL 查询 Hive 表 3，案例, 使用常见 HiveSQL 4，写入内容到 Hive 表 SparkSQL 整合 Hive 导读 1，开启 Hive 的 MetaStore 独立进程 2，整合 SparkSQL 和 Hive 的 MetaStore
Spark SQL整合Hive
weixin_62982569的博客
06-19 504
Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。​ 在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。
SparkSQL访问MySql源
chy2z的专栏
11-18 500
Spark环境 spark-2.3.0 添加依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt;artifactId&gt;spark-sql_2.11&lt;/artifactId&gt; &lt;version&gt;2.3.0&lt;/version&
sparksql整合hive
F_fighting117的博客
09-08 356
RDD、dataframe和dataset的区别： RDD：弹性分布式数据集：对spark中的数据一种抽象（一种类：封装了各种对象和方法），也是一种数据结构 特点： 1.弹性（数据可以在内存也可以在磁盘、容错性：一个task失败了会自动重试不要手动操作，重试默认是从血缘关系链的头开始、手动持久化了之后从持久化的地方开始）、 2.分布式（一个RDD数据散落在不同节点） 3.数据集：从hdfs加载到内存，持久化到磁盘 dataframe：起源于python的pandas，等于RDD（数据）+schema（元
SparkSQL整合Hive与启动HiveServer2
weixin_45484707的博客
10-05 1921
一、Spark整合Hive： ①SparkSQL兼容Hive的源数据库、兼容Hive的自定义函数、兼容Hive的序列化和反序列化。 ②可以用SparkSQL替代Hive或者将Hive的引擎由MapReduce换成SparkSQL。 ③启动SparkSQL必须是client模式，不能是cluster模式； 启动SparkSQL时可以指定启动模式，错误示例如下： bin/spark-sql --deploy-mode cluster --master spark://linux02:7077 --driver-
spark连接HIveDemo
04-13
spark连接hive数据库的完整demo
sparksql和hivesql区别
09-17
Sparksql是基于内存的分布式处理框架，而HiveSQL是基于磁盘的数据仓库框架，它们在访问数据和处理数据方面有很大的不同。Sparksql更加侧重于处理数据，而HiveSQL则更加侧重于存储数据。 ### 回答2： Spark SQL 和 ...
Spark SQL 连接 hive
绿萝蔓蔓绕枝生
09-29 417
添加依赖： <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope>
SparkSql连接Hive
hyj
03-18 331
一、配置 1、主要pom.xml <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> ...
spark代码连接hive_SparkSQL连接Hive
weixin_39942037的博客
12-19 297
1.将$HIVE_HOME/conf/hive-site.xml文件复制一份到$SPARK_HOME/conf/hive-site.xmlcp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf2.直接启动spark-shell就能帮我们自动连接./spark-shell --master local[2] --jars /usr/local/jar/my...
spark-sql部署实现与Hive交互
大数据机器学习
04-11 2359
spark-sql部署 版本 Hadoop-2.5.0-cdh5.3.2  Hive-0.13.1-cdh5.3.2 Spark-1.5.1 以CNSH001节点为例 spark master在CNSH001上：spark://CNSH001:7077 spark HistoryServer在CNSH001上：CNSH001:8032 spark e
sparksql 操作hive_spark连接hive，使用sparksql处理hive中的数据
weixin_39739170的博客
02-04 243
spark连接到hive首先要先配置3个文件，放到idea的resource目录下，如下：core-site.xml从集群环境中拉下来。hdfs-site.xml从环境中拉下来hive-site.xml：hive.exec.scratchdir/user/hive/tmphive.metastore.warehouse.dir/user/hive/warehousehive.querylog.lo...
spark sql 通过代码连接hive
qq_34135615的博客
03-04 1610
spark sql代码方式连接hive
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值