idea中编写spark连接hive的操作配置（实测）

最新推荐文章于 2025-02-14 18:21:16 发布
最新推荐文章于 2025-02-14 18:21:16 发布
阅读量693 收藏 5
点赞数 13
分类专栏： spark 文章标签： hive hadoop java scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxz_666/article/details/143269235
版权

目录

第一步：配置文件

第二步：测试连接（java和scala）

第三步：测试结果

配置文件信息：

pom.xml

hive.site.xml

hdfs.site.xml

core.site.xml

前提条件(具体配置文件信息会粘帖在最后面)：

先在linux平台查询hive测试表数据：

 第一步：配置文件

先需要连接的配置文件导入到idea的resourse下面：

第二步：测试连接（java和scala）

编写代码java:

package org.hive;

import org.apache.spark.SparkConf;
import org.apache.spark.sql.SparkSession;

public class SparkJavaReadHIveData {
    public static void main(String[] args) {
        SparkConf sc = new SparkConf();
        sc.setAppName("SparkJavaReadHIveData").setMaster("local[*]");

        SparkSession ssc = SparkSession.builder().config(sc).enableHiveSupport().getOrCreate();

        ssc.sql("select * from default.test2").show();

        ssc.stop();
    }
}

编写代码scala：

package org.hive

import org.apache.spark.sql.SparkSession

object SparkScalaReadHIveData {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("SparkHiveExample")
      .master("local[*]")
      .enableHiveSupport()
      .getOrCreate()

    // 查询Hive表数据
    val result = spark.sql("select * from test2")
    result.show()

    spark.stop()
  }
}

第三步：测试结果

两个测试结果都一样(此处只粘贴一个)：


注意：如果报错了，则需要开启hive的元数据执行以下语句,重新执行spark任务即可

nohup hive --service metastore 2>&1 &

配置文件信息：

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>org.example</groupId>
  <artifactId>SparkTestScala</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>SparkTestScala</name>
  <url>http://maven.apache.org</url>

  <properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hadoop.version>3.3.1</hadoop.version>
    <scala.version>2.12.10</scala.version>
    <scala.binary.version>2.12</scala.binary.version>
    <spark.version>3.1.1</spark.version>
    <mysql.version>8.0.23</mysql.version>
    <hive.version>3.1.3</hive.version>
    <!--provided/compile-->
    <scope.change>provided</scope.change>
  </properties>
  <dependencies>

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.12</artifactId>
      <version>${hive.version}</version>
    </dependency>

    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>${mysql.version}</version>
    </dependency>

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>${spark.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>${spark.version}</version>
  </dependency>

  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.12</artifactId>
    <version>${spark.version}</version>
  </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-auth</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>

    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-compiler</artifactId>
      <version>${scala.version}</version>
    </dependency>

    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-reflect</artifactId>
      <version>${scala.version}</version>
    </dependency>


  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_${scala.binary.version}</artifactId>
    <version>${spark.version}</version>
  </dependency>

  <dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
  </dependency>
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>3.1.3</version>
        <exclusions>
          <exclusion>
            <groupId>org.pentaho</groupId>
            <artifactId>pentaho-aggdesigner-algorithm</artifactId>
          </exclusion>
        </exclusions>
      </dependency>
  </dependencies>

</project>

hive.site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?useSSL=false</value>
    </property>

    <!-- jdbc连接的Driver,有些是带cj的driver,这里不影响-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <!--元数据存储授权-->

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- Hive 默认在 HDFS 的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <!--    开启元数据    -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master:9083</value>
    </property>
</configuration>

hdfs.site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!-- NameNode web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>master:9870</value>
    </property>
	<!-- SecondNameNode web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9868</value>
    </property>
    <property>
       <name>dfs.client.use.datanode.hostname</name>
       <value>true</value>
    </property>
</configuration>

core.site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!--NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8020</value>
    </property>
 
    <!--hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.2.3/data</value>
    </property>
 
    <!-- 配置HDFS网页用户为hadoop -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,server1:2181,server2:2181</value>
    </property>

   <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.native.lib</name>
        <value>true</value>
    </property>    
</configuration>
【大数据之路5-1】数据仓库工具 Hive
程序员五哥
06-09 1306
大数据：历史数据，预测未来Hive 由 FaceBook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL（Hive SQL）查询 功能，底层数据存储在 HDFS 上。Hive 的本质是将 HQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便的使用 HQL 处理和计算 HDFS 上结构化的数据，适用于离线的批量数据计算。分条：基于 Hadoop：Hive 依赖于 HDFS 存储数据，Hive 将 HQL 转换成
Spark SQL 报错总结
weixin_33798152的博客
05-21 2323
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.student ").show() 日志 Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hi...
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7 PATH 里添加%HADOOP_HOME%\s
idea连接hive
windinroad的博客
04-02 6998
idea连接hive
大数据实战：Spark + Hive 逐笔计算用户盈亏
最新发布
qq_32825915的博客
02-14 517
本文将通过使用 Spark + Hive 实现逐笔计算用户盈亏的需求。由于我们是进行离线计算，所以我们的数据源是 Hive 表数据，Sink 表也是Hive表，即 Spark 读取 Hive 表数据进行批计算之后写回到Hive 表并供后续使用。通过本文你将会学到：如何使用 Spark SQL API 读取 Hive 数据源如何通过读取配置文件进行传参执行 SQL如何将 Spark SQL 转换为 JavaRDD 进行处理如何进行用户 keyBy 分组。
idea 中连接 hive
qq_45124566的博客
11-07 1万+
一、添加依赖 hive-jdbc 中虽然包括 hadoop-common 的依赖，但是不会主动引入 hadoop-common 的依赖，需要主动添加 <!--添加所用hive版本的jdbc依赖 --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1
在IDEA运行spark程序（搭建Spark开发环境）
热门推荐
wanglingli95的博客
11-01 2万+
在IDEA中运行spark程序
IDEA中使用Spark SQL远程连接Hive
ImezZ
08-30 3715
记录一下spark sql远程连接hive，进行sql操作的过程。 1、把远程端的hive-site.xml文件放在idea的resources目录下 注意这里要改成远程要访问的ip地址 2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysql crt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包 如果没有mysql驱动包会报这样的错误： java.lang.Runti
IDEA实现Spark连接Hive
wannaffly的博客
03-28 566
1.拷贝hive-site.xml文件到classpath下 2.增加对应的依赖关系（包含MYSQL的驱动） <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency> <de.
Spark数据库操作初步——Spark开发学习笔记（三）
katus的博客
11-29 1225
Spark数据库操作初步 本文的操作环境和安装的版本 操作系统：Windows 10 1909版本 IDE：IntelliJ IDEA Ultimate 2019.2.4版本 JDK：1.8.0_221 Hadoop：2.7.1 Spark：3.0.0-preview Scala：2.12.10 Maven：3.6.2 数据库：MySQL 8.0.18 一、准备工作 在之前环境的基础上我们...
sparkSQL flinkSQL hiveSQL性能对比
dianfuwo9488的博客
10-30 2294
最近在研究flink，发现较新版的flink支持sql，这下好了，我用spark两年了，对用法和性能算是踩过一些坑了。 听说flink挺快的，那么flinkSQL和sparkSQL到底哪个快呢？ 想必很多人也想知道吧，那就拿数据说话（虽然不是自己做的基线测试，但好歹也找了好久） 下图是hive, spark, flink的sql执行速度对比： 下图是平均的 ...
Intellij IDEA 搭建Spark开发环境说明
07-04
基于Win7环境，IntelliJ IDEA 搭建Spark开发环境。
Spark学习笔记——龟速更新。。
5akura's Blog
01-13 2429
文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2
IDEA 中使用 SparkSQL 远程连接 Hive
JIE的博客 --- moon_coder
12-01 2676
我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，你可以使用和集群一样的包，然后将压缩包解压到你想要存放的地方。变量，双击进入，然后新建两个 PATH，以指定 Hadoop 脚本路径。及其以下的版本，如果比这个版本高的可以去官网下载依赖文件。如果你使用的集群在华为云或者阿里云上，你需要先配置好集群的。注意，我在上面这个下载链接里放的依赖文件只支持。其次就是你要对你的端口进行放行，配置安全规则。进入集群中的 MySQL，授予权限。
在 idea上用编写spark程序链接hive
weixin_52803142的博客
12-04 1072
在 idea上用编写spark程序链接hive 在idea 上编写spark程序，pom文件上要包含hive依赖,网上大把，链接hive其实可以不用将hdfs,core等文件加入程序，直接在代码中声明 metastore服务的地址，和 hive在hdfs上的储存路径 def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("kks") val spark =
hive与idea的连接
Tao9472的博客
04-25 1716
Hive 是一个建立在 Hadoop 之上的数据仓库系统，提供了类似于 SQL 的查询语言 HiveQL，使用户能够方便地在 Hadoop 分布式存储中执行查询和分析。它将结构化数据映射到 Hadoop 的分布式文件系统（HDFS）中，并利用 MapReduce 处理数据。Hive 的主要目标是提供高效的数据查询和分析，使非技术用户也能轻松地利用 Hadoop 处理大规模数据。二、使用idea连接hive数据库获取 Hive JDBC 驱动程序：首先，你需要下载并获取 Hive JDBC 驱动程序。
Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）
Wingkin的博客
12-16 1万+
本文介绍Intellij IDEA编写Spark应用程序，项目使用maven构建。
【Spark】02.Spark-IDEA配置
做一只精致IT小白
03-17 2242
1.基于jdk1.8创建一个maven项目 2.增加scala-sdk Project Structure - Platform Settings - Global Libraries 3.增加Spark的Maven依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-c
idea中Spark操作Hive
m0_63086929的博客
11-09 1371
idea中Spark操作Hive
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值