Sparksql On Hive（idea与spark-shell）

最新推荐文章于 2024-07-10 07:15:00 发布
最新推荐文章于 2024-07-10 07:15:00 发布
阅读量703 收藏
点赞数
分类专栏： spark 文章标签： spark hive intellij-idea sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mogeko1/article/details/130344466
版权
文章详细介绍了如何在Windows环境下使用IDEA配置SparkSQL连接远程Hive数据仓库的过程，包括Hivemetastore的配置、服务启动、IDEA项目依赖设置以及SparkShell的使用，展示了查询Hive表的示例。
摘要由CSDN通过智能技术生成

Sparksql On Hive:
windows idea中
sparksql读取hive中的表：
配置idea中，idea中可以执行本地MapReduce
hive的启动时要metastore servert模式：
1.在192.168.58.201hive-site.xm （hive.metastore.thrift.bind.host） 配置项：

<configuration>
        <property>
        　　<name>javax.jdo.option.ConnectionURL</name>
        　　<value>jdbc:mysql://192.168.58.203:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionDriverName</name>
        　　<value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionUserName</name>
        　　<value>root</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionPassword</name>
        　　<value>123</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>192.168.58.201:2181,192.168.58.20:2181,192.168.58.203:2181</value>
        </property>
<property>
 <name>hive.metastore.local</name>
  <value>false</value>
  <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>

        <property>
                <name>hive.metastore.thrift.bind.host</name>
                 <value>192.168.58.201</value>
        </property>
</configuration>

2.在192.168.58.201上启动：

linux>bin/hive-service metastore &

3.在192.168.58.202上链接hive配置文件:

<configuration>
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.58.201:9083</value>
</property>
</configuration>

4.在windows.上配置hosts添加做高可用(可选)：

C:\Windows\System32\drivers\etc\hosts
192.168.58.200 mycluster
192.168.58.201 mycluster

5.idea pom.xml

		<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
         </dependency>

6.idea HiveDemo运行类

package SparkTest
import org.apache.spark.sql.SparkSession
object HiveDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .master("local[*]")  //把此行注释，打包上传集群， spark-submit 执行
      .appName("test")
      .enableHiveSupport()
      .config("mapreduce.app-submission.cross-platform", "true")
      .config("hive.metastore.uris", "thrift://192.168.58.201:9083")
      .getOrCreate()

    //    spark.sql("show databases").show()
    val df = spark.sql("select * from testhivedb.rut_demo")
    df.printSchema()
    df.show()
  }
}
结果：root
 |-- sessionid: string (nullable = true)
 |-- stepno: integer (nullable = true)
 |-- url: string (nullable = true)
 |-- referral: string (nullable = true)

+---------+------+---+--------+
|sessionid|stepno|url|referral|
+---------+------+---+--------+
|        1|     1|  A|    NULL|
|        1|     2|  B|       A|
|        1|     3|  C|       B|
|        1|     4|  D|       C|
|        2|     1|  A|    NULL|
|        2|     2|  B|       A|
|        2|     3|  C|       B|
|        2|     4|  D|       C|
|        3|     1|  D|    NULL|
|        3|     2|  B|       D|
|        3|     3|  C|       B|
|        3|     4|  X|       C|
|        3|     5|  F|       X|
+---------+------+---+--------+


Process finished with exit code 0

Sparksql On Hive:
在spark-shell环境中
1.启动Spark集群

 linux>sbin/start-all.sh

2.192.168.58.200 hive-site.xml配置文件

<configuration>
        <property>
        　　<name>javax.jdo.option.ConnectionURL</name>
        　　<value>jdbc:mysql://192.168.58.203:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionDriverName</name>
        　　<value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionUserName</name>
        　　<value>root</value>
        </property>
        <property>
        　　<name>javax.jdo.option.ConnectionPassword</name>
        　　<value>123</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>192.168.58.201:2181,192.168.58.202:2181,192.168.58.203:2181</value>
        </property>
     	   <property>
			<name>hive.compactor.initiator.on</name>
			<value>true</value>
	</property>
	<property>
			<name>hive.compactor.worker.threads</name>
			<value>1</value>
	</property>
	<property>
			 <name>hive.in.test</name>
			 <value>true</value>
	</property>
	<property>
			<name>hive.support.concurrency</name>
			<value>true</value>
	</property>
	<property>
			<name>hive.enforce.bucketing</name>
			<value>true</value>
	</property>
	<property>
			<name>hive.exec.dynamic.partition.mode</name>
			<value>nonstrict</value>
	</property>
	<property>
			<name>hive.txn.manager</name>
			<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
	</property>
</configuration>

3.hive配置文件copy到192.168.58.202的spark目录中的conf中

linux>cd /opt/install/spark/conf/
linux>vi  hive-site.xml
<configuration>
  <property>
     <name>hive.metastore.uris</name>
     <value>thrift://192.168.58.200:9083</value>
 </property>
</configuration>

4.192.168.58.200上启动hive

linux>bin/hive --service metastore &

5.192.168.58.202主机：启动spark-sql

linux>spark-shell --master spark://192.168.58.200:7077
scala>spark.sql("select * from testhivedb.rut_demo").show()
#testhivedb为数据库.rut_demo为表
结果：
scala> spark.sql("select * from testhivedb.rut_demo").show()
+---------+------+---+--------+                                                 
|sessionid|stepno|url|referral|
+---------+------+---+--------+
|        1|     1|  A|    NULL|
|        1|     2|  B|       A|
|        1|     3|  C|       B|
|        1|     4|  D|       C|
|        2|     1|  A|    NULL|
|        2|     2|  B|       A|
|        2|     3|  C|       B|
|        2|     4|  D|       C|
|        3|     1|  D|    NULL|
|        3|     2|  B|       D|
|        3|     3|  C|       B|
|        3|     4|  X|       C|
|        3|     5|  F|       X|
+---------+------+---+--------+
房石阳明i
关注
专栏目录
sparkSQL sparkSQL整合hive（spark on hive）
a3125504x的博客
09-15 929
sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景 sparkSQL整合hive sparkSQL整合hive，即spark on hive。本质是把hive当做数据源，使用spark作为计算引擎来处理数据。 sparkSQL整合hive步骤 把hive安装目录下conf文件夹里的hive-site.xml拷贝到集群每一个spark安装目录下对应的conf文件夹中 目的：让spark知道存放hive表的元数据的M
SparkSQL与Hive交互
weixin_43520450的博客
03-08 1167
SparkSQL与Hive交互
SparkSql On Hive
难得糊涂
05-08 923
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
SparkSQL>Spark-On-Hive
qq_44509920的博客
04-15 408
文章目录概述Hive开启MetaStore服务SparkSQL整合Hive MetaStore使用SparkSQL操作Hive表 概述 官网 http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html Configuration of Hive is done by placing your hive-site.xml...
spark sql on hive初探
sumo2010的博客
01-04 693
前一段时间由于shark项目停止更新，sql on spark拆分为两个方向，一个是spark sql on hive,另一个是hive on spark。hive on spark达到可用状态估计还要等很久的时间，所以打算试用下spark sql on hive，用来逐步替代目前mr on hive的工作。   当前试用的版本是spark1.0.0,如果要支持hive,必须重新进行编译，编译的
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2520
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
摸鱼大数据——Spark SQL——Spark on Hive部署
最新发布
weixin_65694308的博客
07-10 1081
spark.sql("""insert into spark_demo.stu values(1,'张三'),(2,'李四')""")spark-sql>insert into spark_demo.stu values(1,'张三'),(2,'李四');（1）检查hive中 hive-site.xml中，是否有关于metastore的地址配置。4- 对于使用者/程序员来说，SparkSQL与Hive集成，对于上层使用者来说，是完全透明的。# 测试是否能在spark_demo建表: 可以。
Spark-SQL连接Hive 的五种方法
weixin_60343288的博客
12-09 5903
因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关语句。3.运行bin/目录下的spark-sql.cmd 或者打开cmd，在 D:\spark\spark-3.0.0-bin-hadoop3.2\bin当中直接运行spark-sql。5.到spark的bin目录下打开spark-shell.cmd。
sparkSQL sparkSQL操作hiveSQL
a3125504x的博客
09-15 1295
sparkSQL操作hiveSQLsparkSQL操作hiveSQLsparkSQL操作hiveSQL来操作本地文件sparkSQL操作hiveSQL来操作HDFS上的hivepom依赖 sparkSQL操作hiveSQL sparkSQL操作hiveSQL并不是sparkSQL on hive。 sparkSQL操作hiveSQL底层运行的依然是MR程序 sparkSQL on hive是把hive当做数据源，spark作为计算引擎。 核心：开启hive依赖 enableHiveSupport()
SparkSQL on Hive 环境配置
a1786742005的博客
08-15 650
一、环境配置 二、案例
CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE
weixin_42154841的博客
08-21 2437
spark on Yarn，并且整合spark 与hive过程
spark sql on hive笔记一
三劫散仙
12-09 807
spark sql on hive非常方便，通过共享读取hive的元数据，我们可以直接使用spark sql访问hive的库和表，做更快的OLAP的分析。 spark 如果想直接能集成sql，最好自己编译下源码： 切换scala的版本为新版本 dev/change-scala-version.sh 2.11 编译支持hive mvn -Pyarn -Phive -Phive-thrift
sparksql on hive实践
清风自来
12-05 753
hive-site.xml拷贝到spark的conf目录下后，编程测试如下： import org.apache.spark._ object exptest { def main(args: Array[String]){ System.setProperty("hadoop.home.dir", "C:\\winutils\\") var masterUrl = "
Spark SQL:从入门到精通(六)[ Spark-On-Hive]
04-23 3761
概述 官网 http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html Configuration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), and hdfs-site.xml...
Spark SQL on Hive
布里啾啾迪布利多的博客
03-14 2221
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如文本、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。SparkSql整合hive就是获取hive表中的元数据...
SparkSQL-SparkOnHive
dafsq的博客
03-17 568
SparkSQL-SparkOnHive
spark sql on hive
大数据机器学习
04-28 2309
Spark-sql部署 版本 Hadoop-2.5.0-cdh5.3.2  Hive-1.2.1-cdh5.3.2 Spark-1.5.0 以bihdp01节点为例 spark master在CNSH001上：spark://bihdp01:7077 spark HistoryServer在CNSH001上：bihdp01:8032 spark eventLog在hdfs上：hdf
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
一个人的江湖
01-07 2729
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持续对外提供服务，外部可以通过这个端口连接上来，写sql，让Spark运行。上面的过程生成的AST其实最终没有办法直接运行，AST叫做逻辑计划，结束后需要生成物理计划，从而生成RDD来运行。
IDEA 中使用 SparkSQL 远程连接 Hive
JIE的博客 --- moon_coder
12-01 2537
我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，你可以使用和集群一样的包，然后将压缩包解压到你想要存放的地方。变量，双击进入，然后新建两个 PATH，以指定 Hadoop 脚本路径。及其以下的版本，如果比这个版本高的可以去官网下载依赖文件。如果你使用的集群在华为云或者阿里云上，你需要先配置好集群的。注意，我在上面这个下载链接里放的依赖文件只支持。其次就是你要对你的端口进行放行，配置安全规则。进入集群中的 MySQL，授予权限。
sparksql与hive整合（spark-on-hive）
06-06
SparkSQL与Hive整合，也称为Spark-on-Hive，是将Spark和Hive两个大数据处理框架结合起来使用的一种方式。通过这种方式，可以在Spark中使用Hive的元数据和数据仓库，同时也可以在Hive中使用Spark的计算引擎和分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值