Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作

已于 2024-04-23 10:56:09 修改
阅读量2.8k 收藏 15
点赞数
分类专栏： # Spark 文章标签： hive spark hadoop
于 2023-04-06 14:21:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/129949939
版权

目录

1.开启hadoop集群

2.开启mysql

3.开启hive远程连接

4.将hive下面的hive-site.xml和jar包拷贝到spark的conf目录下

5.重启spark-shell

6.查询数据库的表

7.IDEA操作连接hive

8.Spark读取Hive中的库

9.Spark操作Hive中指定表

10.Spark处理后的数据保存在Hive中——三种方法

11.Spark连接Mysql，操作Mysql中的表

        在Spark中操作Hive，此时的HIve基于内存，而不是MR，速度更快。

1.开启hadoop集群

start-dfs.sh
start-yarn.sh

2.开启mysql

mysql -uroot -p

3.开启hive远程连接

nohup hive --service hiveserver2 &
nohup hive --service metastore &

4.将hive下面的hive-site.xml和jar包拷贝到spark的conf目录下

[root@lxm147 jars]# pwd
/opt/soft/spark312/conf

[root@lxm147 conf]# cp /opt/soft/hive312/conf/hive-site.xml /opt/soft/spark312/conf/

[root@lxm147 jars]# pwd
/opt/soft/spark312/jars
[root@lxm147 jars]# cp /opt/soft/hive312/lib/hive-beeline-3.1.2.jar ./
[root@lxm147 jars]# cp /opt/soft/hive312/lib/hive-cli-3.1.2.jar ./
[root@lxm147 jars]# cp /opt/soft/hive312/lib/hive-exec-3.1.2.jar ./
[root@lxm147 jars]# cp /opt/soft/hive312/lib/hive-jdbc-3.1.2.jar ./
[root@lxm147 jars]# cp /opt/soft/hive312/lib/hive-metastore-3.1.2.jar ./
[root@lxm147 jars]# cp /opt/soft/hive312/lib/mysql-connector-java-8.0.29.jar ./

hive-site.xml内容如下：

下面的配置一定要加上，否则无法连接：
<property>
<name>hive.metastore.uris</name>
<value>thrift://lxm147:9083</value>
</property>

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/opt/soft/hive312/warehouse</value>
        <description></description>
</property>
<property>
        <name>hive.metastore.db.type</name>
        <value>mysql</value>
        <description>使用连接的数据库</description>
</property>
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.180.141:3306/hive147?createDatabaseIfNotExist=true</value>
        <description>Mysql的url</description>
</property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
        <description></description>
</property>
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description></description>
</property>
<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
        <description></description>
</property>
<property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
        <description>关闭schema验证</description>
</property>
<property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
        <description>提示当前数据库名</description>
</property>
<property>
        <name>hive.cli.print.header</name>
        <value>true</value>
        <description>查询输出时带列名一起输出</description>
</property>
<property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
</property>

<property>
<name>hive.metastore.local</name>
<value>false</value>
<description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://lxm147:9083</value>
</property>

<property>
 <name>hive.zookeeper.quorum</name>
 <value>192.168.180.147</value>
</property>
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>192.168.180.147</value>
</property>
<property>
 <name>hive.aux.jars.path</name>
 <value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value>
</property>

</configuration>

5.重启spark-shell

[root@lxm147 jars]# spark-shell

6.查询数据库的表

scala> spark.table("db_hive2.login_events").show
2023-04-04 13:33:35,138 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
2023-04-04 13:33:35,138 WARN conf.HiveConf: HiveConf of name hive.server2.active.passive.ha.enable does not exist
2023-04-04 13:33:35,139 WARN conf.HiveConf: HiveConf of name hive.metastore.db.type does not exist
+-------+-------------------+                                                   
|user_id|     login_datetime|
+-------+-------------------+
|    100|2021-12-01 19:00:00|
|    100|2021-12-01 19:30:00|
|    100|2021-12-02 21:01:00|
|    100|2021-12-03 11:01:00|
|    101|2021-12-01 19:05:00|
|    101|2021-12-01 21:05:00|
|    101|2021-12-03 21:05:00|
|    101|2021-12-05 15:05:00|
|    101|2021-12-06 19:05:00|
|    102|2021-12-01 19:55:00|
|    102|2021-12-01 21:05:00|
|    102|2021-12-02 21:57:00|
|    102|2021-12-03 19:10:00|
|    104|2021-12-04 21:57:00|
|    104|2021-12-02 22:57:00|
|    105|2021-12-01 10:01:00|
+-------+-------------------+

7.IDEA操作连接hive

import org.apache.spark.sql.SparkSession

object SparkGive {
  def main(args: Array[String]): Unit = {
    // 创建会话
    val spark: SparkSession = SparkSession.builder().appName("sparkhive")
      .master("local[*]")
      .config("hive.metastore.uris","thrift://192.168.180.147:9083")
      .enableHiveSupport()
      .getOrCreate()

    // 关闭会话
    spark.close()

  }
}

8.Spark读取Hive中的库

// 读取数据库   
 spark.sql("show databases").show()

/*
+---------+
|namespace|
+---------+
|  atguigu|
|  bigdata|
| db_hive2|
|  default|
|   lalian|
|     mydb|
| shopping|
+---------+
*/

9.Spark操作Hive中指定表

    // 读取指定数据库指定表
    val ecd = spark.table("shopping.ext_customer_details")
    ecd.show()

+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+
|customer_id|first_name|  last_name|               email|gender|             address|country| language|                 job|         credit_type|          credit_no|
+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+
|customer_id|first_name|  last_name|               email|gender|             address|country| language|                 job|         credit_type|          credit_no|
|          1|   Spencer|  Raffeorty|sraffeorty0@dropb...|  Male|    9274 Lyons Court|  China|    Khmer|Safety Technician...|                 jcb|   3589373385487669|
|          2|    Cherye|     Poynor|      cpoynor1@51.la|Female|1377 Anzinger Avenue|  China|    Czech|      Research Nurse|        instapayment|   6376594861844533|
|          3|   Natasha|  Abendroth|nabendroth2@scrib...|Female| 2913 Evergreen Lane|  China|  Yiddish|Budget/Accounting...|                visa|   4041591905616356|
|          4|   Huntley|     Seally|  hseally3@prlog.org|  Male|    694 Del Sol Lane|  China| Albanian|Environmental Spe...|               laser| 677118310740263477|
|          5|     Druci|       Coad|    dcoad4@weibo.com|Female|         16 Debs Way|  China|   Hebrew|             Teacher|                 jcb|   3537287259845047|
+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+

    import spark.implicits._
    import org.apache.spark.sql.functions._

    // 过滤首行
    val cuDF: Dataset[Row] = ecd.filter($"customer_id" =!= "customer_id")

+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+
|customer_id|first_name|  last_name|               email|gender|             address|country| language|                 job|         credit_type|          credit_no|
+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+
|          1|   Spencer|  Raffeorty|sraffeorty0@dropb...|  Male|    9274 Lyons Court|  China|    Khmer|Safety Technician...|                 jcb|   3589373385487669|
|          2|    Cherye|     Poynor|      cpoynor1@51.la|Female|1377 Anzinger Avenue|  China|    Czech|      Research Nurse|        instapayment|   6376594861844533|
|          3|   Natasha|  Abendroth|nabendroth2@scrib...|Female| 2913 Evergreen Lane|  China|  Yiddish|Budget/Accounting...|                visa|   4041591905616356|
|          4|   Huntley|     Seally|  hseally3@prlog.org|  Male|    694 Del Sol Lane|  China| Albanian|Environmental Spe...|               laser| 677118310740263477|
|          5|     Druci|       Coad|    dcoad4@weibo.com|Female|         16 Debs Way|  China|   Hebrew|             Teacher|                 jcb|   3537287259845047|
+-----------+----------+-----------+--------------------+------+--------------------+-------+---------+--------------------+--------------------+-------------------+
   
 // 求每个国家有多少人
    val userDF: DataFrame = cuDF.groupBy("country").agg(count("customer_id").as("userNum"))
    userDF.printSchema()
    /*
    root
    |-- country: string (nullable = true)
    |-- userNum: long (nullable = false)*/

    userDF.show()
    /*
    +-------------+-------+
    |      country|userNum|
    +-------------+-------+
    |        China|    426|
    |United States|     51|
    |       Canada|     23|
    +-------------+-------+*/

10.Spark处理后的数据保存在Hive中——三种方法

// 将计算出的结果保存
//    userDF.write.saveAsTable("shopping.userDF")
//    userDF.write.mode("append").saveAsTable("shopping.userDF")
// 使用枚举也可以进行存储
      userDF.write.mode(SaveMode.Append).saveAsTable("shopping.userDF")

// 也可以将spark处理好的数据写入Mysql，用BI工具展示

11.Spark连接Mysql，操作Mysql中的表

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
import java.util.Properties

object DataFrameMysql {
  def main(args: Array[String]): Unit = {
    // 创建会话
    val spark: SparkSession = SparkSession.builder().appName("dataframemysql")
      .master("local[*]")
      .getOrCreate()

    import spark.implicits._
    import org.apache.spark.sql.functions._

    // spark连接Mysql数据库，注意指定数据库名
    val url = "jdbc:mysql://192.168.180.141:3306/mysql50"
    val user = "root"
    val pwd = "数据库密码"
    val driver = "com.mysql.cj.jdbc.Driver"

    val properties = new Properties()
    properties.setProperty("user", user)
    properties.setProperty("password", pwd)
    properties.setProperty("driver", driver)
    
    // spark读取所有文件，所有文件的区别
    // spark读取数据库下的表，转换为DataFrame
    val studentDF: DataFrame = spark.read.jdbc(url, "student", properties)
    val scDF: DataFrame = spark.read.jdbc(url, "sc", properties)
    val courseDF: DataFrame = spark.read.jdbc(url, "course", properties)
    val teacherDF: DataFrame = spark.read.jdbc(url, "teacher", properties)
    
    studentDF.show()
    scDF.show()
    courseDF.show()
    teacherDF.show()
    
    // 将scDF作为新表进行存储
    scDF.write.mode(SaveMode.Overwrite).jdbc(url, "sc2", properties)

    spark.close()
  }
}
雷神乐乐
关注
  • 0
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3352
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
Spark-SQL连接Hive 的五种方法
qq_53114527的博客
12-09 4571
Spark-SQL连接Hive 的五种方法
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7 PATH 里添加%HADOOP_HOME%\s
Hive on Spark、Spark on Hive的异同
最新发布
u011076848的专栏
06-06 980
Hive-on-Spark 是在 Hive 上新增一种计算引擎：Spark目的：借助 Spark 内存计算引擎的优势，提升 Hive 查询性能（相较于默认执行引擎 MR）地位：Spark 和 Hive 原有的执行引擎 MR，Tez 平级，可互相替换益处：给已经部署了 Hive 或者 Spark 的用户提供了更加灵活的选择，从而进一步提高 Hive 和 Spark 的普及率定义：没有官方的 Spark on Hive 说法，属于大家习惯性称呼。
Spark on Hive Hive on Spark傻傻分不清？
shufangreal的博客
11-04 3956
Spark on Hive? Hive on Spark傻傻分不清？ 1 spark on hive Spark on hive，是spark计算引擎依托hive data source，spark 可以依托JDBC、File、Collection等数据源，hive只是spark集成的数据源之一；具体可以参考spark官方文档；我们可以在代码中配置enableHiveSupport来启用Hive数据源。这里是Spark集成Hive。 2 Hive on Spark Hive on Spark，显而易见，Hi
Spark on Hive & Hive on Spark，傻傻分不清楚
微信搜：import_bigdata，大数据领域硬核原创作者
04-25 6476
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！上车前需知Spark on hive 与 Hive on Spark 的区别Spark on ...
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2761
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
spark-hive连接操作流程、踩坑及解决方法
GitHub-ChauserMondieu
04-05 1213
hive安装；spark-hive兼容版本编译；spark-sql操作hive表格
spark读取hive数据的两种方式
热门推荐
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
二次开发Spark实现JDBC读取远程租户集群Hive数据并落地到本集群Hive的Hive2Hive数据集成【Java】
云来山更佳，云去山如画
05-04 2739
背景 肤浅的SQL Boy们可能只知道pyspark构建出sparkSession对象【当然要enableHiveSupport】后，写一句SQL： spark.sql(“这里写一句SQL字符串”); 然后spark就会根据此处的SQL，完成各种select查数据、insert overwrite灌数据到结果表的种种操作。对SQL Boy们来说，足够用了，毕竟搞数仓和ETL的可能只会SQL也只用得到SQL。 但是平台开发，这种程度显然是不够的。例如最常见的数据集成、数据入湖，一定会涉及跨集群、多集群、跨Ke
spark连接HIveDemo
04-13
spark连接hive数据库的完整demo
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
Spark与Hive的集成允许我们直接操作Hive表，将Hive数据转换为Spark DataFrame，这样就可以利用Spark的并行计算能力进行数据预处理和转换。 3. **数据转换**： 在从Hive加载数据到Spark后，可能需要对数据进行清洗...
Spark和Hive的结合（让hive基于spark计算）
01-07
2.在spark/conf中创建一个hive-site.xml    javax.jdo.option.ConnectionURL  jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true  JDBC connect string for a JDBC metastore        ...
spark操作hive表源码
11-03
如`HiveExternalCatalog`用于与Hive Metastore交互，`HiveShim`处理Hive版本之间的差异，`HiveContext`是Spark与Hive交互的主要入口，它封装了创建Hive连接、解析HQL等操作。 此外，值得注意的是，由于Spark的弹性...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2347
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
Hive on Spark & Spark on Hive
YiGeFive的博客
09-29 805
"Hive on Spark"和"Spark on Hive"是两种不同的数据处理方式，涉及Hive和Spark之间的集成。
【Spark精讲】Spark on Hive性能优化
话数Science
01-04 1537
【Spark精讲】Spark on Hive性能优化 第一章 1.1 集群配置概述 1.2 集群规划概述 第二章 Yarn配置 2.1 Yarn配置说明 yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores yarn.scheduler.maximum-allocation-mb yarn.scheduler.minimum-allocation-mb 第三章 Spark的配置说明
spark on hive
04-06
As an AI language model, I can provide some information on Spark and Hive, but I am not capable of performing Spark and Hive tasks. Apache Spark is a distributed computing framework that provides an interface for programming entire clusters with implicit data parallelism and fault tolerance. Spark can be used for processing large datasets and performing complex computations on them. Hive is a data warehousing framework built on top of Hadoop. It provides an SQL-like interface to query data stored in Hadoop Distributed File System (HDFS). Hive can be used to manage and analyze large datasets stored in HDFS. Spark can be integrated with Hive to leverage the benefits of both frameworks. Spark can access data stored in Hive tables and perform complex computations on it using its distributed computing capabilities. Spark also provides a more efficient and faster alternative for running Hive queries. To use Spark with Hive, you need to configure Spark to use Hive metastore. This can be done by setting the spark.sql.catalogImplementation property to hive in the Spark configuration file. Once the configuration is done, you can create Spark SQL tables that are backed by Hive tables, and perform queries on them using Spark SQL. You can also use Spark to perform complex data transformations on Hive tables using Spark APIs. In summary, Spark can be used with Hive to provide a more efficient and faster way of processing large datasets stored in HDFS.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值