学习致谢
https://www.bilibili.com/video/BV1Xz4y1m7cv?p=66
说明
Hive的SQL交互方式
方式1∶交互式命令行(CLI)
· bin/hive
,编写SQL语句及DDL语句
方式2: 启动服务HiveServer2 (Hive ThriftServer2)
·将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为10000
·交互式命令行,bin/beeline
,CDH 版本HIVE建议使用此种方式,CLI方式过时
· 2JDBC/ODBC方式,类似MySQL中JDBC/ODBC方式
同样的SparkSQL也支持这样的访问方式
1.SparkSQL的命令行
2.在某一台机器启动SparkSQL的ThriftServer,然后可以在其他机器使用beeline访问
使用beeline客户端连接
0.hive的元数据库服务metastore保持启动状态 --node2
nohup./export/server/hive/bin/hive --service metastore &
1.启动SparkSQL的ThriftServer----类似于HiveServer------node2启动
/export/server/ spark /sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10000 \
--hiveconf hive.server2.thrift. bind.host=node2 \
--master loca1 [2]
http://node2:4040/jobs/
2.在其他机器使用beeline连接sparkSql的thirftService
/export/server/spark/bin/beeline
!connect jdbc:hive2://node2:10000
root
123456
3.执行sql
show databases;
show tables;
select * from person;
使用代码访问
0.导入依赖
<dependency>
<groupId>org.apache.spark</groupId>
<artifactid>spark-hive-thriftserver_2.12</artifactId>
<version>$ispark.version}</version>
</dependency>
1.使用jdbc代码访问SparkSQL-thirf
package sql
import java.sql.{DriverManager, PreparedStatement, ResultSet}
/**
* Author itcast
* Desc 演示jdbc访问SparkSQL的ThrifrServer
* */
object Demo10_ThirftServer{
def main(args: Array[String]): Unit = {
//0.加载驱动
Class.forName("org.apache.hive.jdbc.HiveDriver")
//1.获取连接
val conn = DriverManager.getConnection(
"jdbc:hive://node2:10000/default", //看上去像是在使用Hive的server2,本质上使用Spark的ThrifServer
"root",
"123456"
)
//2.编写sql
val sql =
"""select id,name,age from person"""
//3.获取预编译语句对象
val ps: PreparedStatement = conn.prepareStatement(sql)
//4.执行sql
val rs: ResultSet = ps.executeQuery()
//5.获取结果
while (rs.next()){
val id: Int = rs.getInt("id")
val name: String = rs.getString("name")
val age: Int = rs.getInt("age")
println(s"id=${id},name=${name},age=${age}")
}
//6.关闭资源
if (conn!=null)conn.close()
if (ps!=null)ps.close()
if (rs!=null)rs.close()
}
}