java读spark hive_项目实战从0到1之Spark(3)spark读取hive数据

本文介绍了如何使用Java和Scala读取Spark中的Hive数据,包括配置所需的Hive相关文件,展示Java和Scala的代码示例,并讨论遇到的问题和解决方案。同时,给出了将数据写回Hive的示例。
摘要由CSDN通过智能技术生成

1.首先将集群的这3个文件hive-site.xml,core-size.xml,hdfs-site.xml放到资源文件里(必须,否则报错)

c9dd078bdc7b5a4350142e12c9919015.png

2.代码方面。下面几个测试都可以运行。

1)test03.java

48304ba5e6f9fe08f3fa1abda7d326ab.png

import org.apache.spark.sql.SparkSession;

import java.text.ParseException;public classtest03 {public static voidmain(String[] args) throws ParseException {

SparkSession spark=SparkSession

.builder()

.appName("Java Spark Hive Example")

.master("local[*]")//.config("spark.sql.warehouse.dir", "/user/hive/warehouse")

.config("hadoop.home.dir", "/user/hive/warehouse")

.enableHiveSupport()

.getOrCreate();

spark.sql("SELECT * FROM mt1").show();

}

}

48304ba5e6f9fe08f3fa1abda7d326ab.png

2)Hive03.scala

48304ba5e6f9fe08f3fa1abda7d326ab.png

import org.apache.spark.{SparkConf, SparkContext}

import org.apache.spark.sql.hive.HiveContextobjectHive03 {

def main(args: Array[String]): Unit={

val conf= new SparkConf().setAppName("test").setMaster("local[2]")

val sc= newSparkContext(conf)

val sqlContext= newHiveContext(sc)

sqlContext.table("mt1") //库名.表名 的格式

.registerTempTable("person") //注册成临时表

sqlContext.sql(""" | select *

| fromperson| limit 10

""".stripMargin).show()

sc.stop()

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值