spark读取HIVE数据

最新推荐文章于 2024-08-04 00:33:27 发布
最新推荐文章于 2024-08-04 00:33:27 发布
阅读量1.2k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35307209/article/details/86622400
版权
本文介绍了如何在Spark中读取Hive数据，包括通过Xshell运行`spark-shell`并导入hive-hcatalog-core.jar，以及在IDEA中编写Spark程序，使用`spark2-submit`提交代码到Yarn集群，并展示读取Hive表的SQL示例及下载Hadoop文件到本地的步骤。
摘要由CSDN通过智能技术生成

1.测试hive包是否能够运行成功

Xshell代码如下：

spark-shell --deploy-mode client --queue weimi.xxx --jars /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/jars/hive-hcatalog-core-1.1.0-cdh5.11.1.jar

测试代码：

import org.apache.spark.sql.hive.HiveContext

val hiveContext = new HiveContext(sc)

hiveContext.sql("select item_id from user_recommend_log where dt='20190123' limit 5").show()

最低0.47元/天 解锁文章
幸福之家^-^
关注
spark读取hive数据-java
max_hu_的博客
11-08 9522
需求：将hive中的数据读取出来，写入es中。 环境：spark 2.0.2 1. SparkSession里设置enableHiveSupport() SparkConf conf = new SparkConf().setAppName("appName").setMaster("local[*]"); SparkSession spark = SparkSession ...
spark读取hive
tianhouquan的专栏
02-26 1989
spark读取hive是最简单的，构造一个sparksession对象，直接执行SQL就得读取，然后直接insert就能写入。 因为spark客户端配置了你的hive数据库的信息，所以能够直接读取hive数据库。 spark = SparkSession .builder() .appName("Java Spark SQL b...
cdh6.3.2中2种spark命令行读取hive表数据方法
qq_25073261的博客
08-09 879
将hive配置文件hive-site.xml放到spark的conf目录下。在页面重启spark。
Spark连接访问Hive数据
最新发布
2401_82567159的博客
08-04 569
Spark访问Hive数据
[Hadoop] 使用Spark SQL来访问Hive里面的数据
Cindy的博客
08-29 3289
1. 环境准备 1.1 安装Hive 1.2 安装Spark 1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下 [hadoop@hadoop000 ~]$ cd app/spark [hadoop@hadoop000 spark]$ cp ~/app/hive-1.1.0-cdh5.7.0/conf/hive-site.xml conf/ 1.4...
CDH5.14 spark2.4.0配置python3 以及读取hive表
梦，不可及，所以可期待...
11-12 1302
在cdh5.14上装好spark5.14后，如果使用pyspark的话，默认是使用系统的python，一般是python2.7 配置使用python3 1、在各个节点上安装好python3，路径要一致 2、在cdh的配置页面 2.1、选择spark2 2.2、选择配置页签 2.3、搜索env 2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段（安全...
spark读取hive数据的两种方式
热门推荐
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
java读spark hive_项目实战从0到1之Spark（3）spark读取hive数据
weixin_29442031的博客
02-13 672
1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错)2.代码方面。下面几个测试都可以运行。1)test03.javaimport org.apache.spark.sql.SparkSession;import java.text.ParseException;public classtest03 {publi...
Spark读取Hive数据写入Hbase
Baron_ND的博客
04-17 1995
使用spark方式写入 在使用Spark时经常需要把数据落入HBase中，如果使用普通的Java API，写入会速度很慢。还好Spark提供了Bulk写入方式的接口。那么Bulk写入与普通写入相比有什么优势呢？ BulkLoad不会写WAL，也不会产生flush以及split。 如果我们大量调用PUT接口插入数据，可能会导致大量的GC操作。除了影响性能之外，严重时甚至可能会对HBase节点的...
spark 读取hive数据 写入hbase
qq_31866793的博客
08-27 3361
1，saveAsNewAPIHadoopDataset批量写入（千万级别以下使用） import org.apache.hadoop.hbase.client._ import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce.TableOutputForma...
使用Spark读取Hive数据，数据存储
搬砖の隔壁老王
09-23 1687
使用spark操作hive库的数据，在日常业务中随处可见，记录一下…… 话不多说 1、无论使用idea或者eclipse，创建工程后，spark、hive 的相关pom . <properties> <spark.core.version>2.4.0</spark.core.version> <scala.version>2.11</scala.version> <build_scope>compile&
spark读写Hive
学习进步
09-24 190
package sparkUtil import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object SparkHive { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf() sp...
Spark读取Hive数据的两种方式与保存数据到HDFS
m0_46168848的博客
02-02 4448
Spark读取Hive数据的两种方式与保存数据到HDFS
spark sql: SparkSession操作hive表
eyeofeagle的博客
11-08 2389
目标： 实现类似于navicat的功能=&amp;amp;amp;amp;amp;amp;gt; 写hql语句，在idea下使用spark sql 一键运行，而不用到shell窗口下运行命令 步骤： 写sql文件 (resources目录)—&amp;amp;amp;amp;amp;amp;gt; 读取内容 --&amp;amp;amp;amp;amp;amp;gt; 以 ‘;’ 解析每条命令 --&amp;amp;amp;amp;amp;amp;gt;sparksql
CDH6.3.1发行版，idea本地调试spark连接hive仓库demo
FengYeHanQiu的博客
02-25 1592
最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。 项目结构 hive-site.xml配置 <?xml version="1.0"?> &l
SQLContext/HiveContext/SparkSession的使用（一）
zghgchao
12-22 1274
SQLContext/HiveContext是Spark 1.x中的两个Spark SQL入口，在Spark 2.X中Spark SQL入口为SparkSession。 1.SQLContext的使用 官网http://spark.apache.org/docs/1.6.0/sql-programming-guide.html val sc: SparkContext // An exi
spark报org.apache.spark.sql.hive.HiveSession
YiRan_Zhao的博客
03-17 942
链接:https://pan.baidu.com/s/1Mcm7QZO9J8ud6930MVFUng?出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark。放到任意的目录下，我这里是放到了E:\vacation\wutils\bin。在重启电脑之后-----在运行代码。
SparkSQL操作Hive数据源
寒暄的博客
08-07 402
连接Hive与SparkSQL 将hive安装目录中conf目录下的hive-site.xml拷贝至spark安装目录下的conf目录。 然后启动SparkShell，运行: spark.sql("show tables").show() spark.sql("show databases").show() 前者为元数据，后者为hive中的库。 如果想要 ...
spark结合hive使用
yunmeng879的博客
03-18 178
idea:spark结合hive使用 Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$instantiateSessionStat
使用spark读取hive数据，数据存储
03-16
使用Spark读取Hive数据时，可以通过Spark SQL或DataFrame API来实现。在读取数据时，需要指定Hive表的名称和所在的数据库，以及相应的读取选项，如数据格式、分隔符、压缩方式等。 读取完成后，可以对数据进行处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值