IDEA使用JDBC查询Hive

一、创建hive数据

1.创建数据库

0: jdbc:hive2://192.168.171.151:10000> create database l0409;
No rows affected (0.162 seconds)

2.创建表

0: jdbc:hive2://192.168.171.151:10000> use l0409;//进入数据库l0409
No rows affected (0.066 seconds)
0: jdbc:hive2://192.168.17.151:10000> create table emp
. . . . . . . . . . . . . . . . . . > (empno int,ename string,job string)
. . . . . . . . . . . . . . . . . . > row format delimited fields
. . . . . . . . . . . . . . . . . . > terminated by ',';
No rows affected (0.204 seconds)

3.创建数据

[root@hadoop dool]# vim emp.txt
7369,SMITH,CLERK
7499,ALLEN,SALESMAN
7521,WARD,SALESMAN

4.导入数据

0: jdbc:hive2://192.168.171.151:10000> load data local inpath "/usr/word/dool/emp.txt"
. . . . . . . . . . . . . . . . . . > into table emp;
No rows affected (0.609 seconds)

 二、创建emp实体类

package ch1;
//体现封装思想
//创建emp对应的实体类
public class Emp {
    private int empno;
    private String ename;
    private String job;

    public Emp(){}
    public Emp(int empno, String ename, String job) {
        this.empno = empno;
        this.ename = ename;
        this.job = job;
    }

    @Override
    public String toString() {
        return "Emp{" +
                "empno=" + empno +
                ", ename='" + ename + '\'' +
                ", job='" + job + '\'' +
                '}';
    }

    public int getEmpno() {
        return empno;
    }

    public void setEmpno(int empno) {
        this.empno = empno;
    }

    public String getEname() {
        return ename;
    }

    public void setEname(String ename) {
        this.ename = ename;
    }

    public String getJob() {
        return job;
    }

    public void setJob(String job) {
        this.job = job;
    }
}

三、JDBC操作

1. 加载JDBC驱动,获取连接

package ch1;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

//Java调用Hive
public class HiveDemo {
    public static void main(String[] args) {
        getConnection();
    }

    //获取连接
    public static Connection getConnection(){
        //第一步 加载驱动
        try {
            Class.forName("org.apache.hive.jdbc.HiveDriver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        //第二步 获取连接
        try {
            DriverManager.getConnection("jdbc:hive2://192.168.171.151:10000","root","123456");
            //输出连接
            System.out.println("连接成功");
        } catch (SQLException e) {
            e.printStackTrace();
            System.out.println("连接失败");
        }
        return null;

    }

}

2.查询

//写一个查询emp表的方法
    public List<Emp> queryAllEmps(){
        //获取连接
        Connection connection = getConnection();
        String sql = "SELECT empno,ename,job FROM emp";
        //新建一个List
        ArrayList<Emp> emps = new ArrayList<>();
        PreparedStatement preparedStatement = null;
        ResultSet resultSet = null;

        try {
            preparedStatement = connection.prepareStatement(sql);
            resultSet = preparedStatement.executeQuery();
            while (resultSet.next()){
                int empno = resultSet.getInt("empno");
                String ename = resultSet.getString("ename");
                String job = resultSet.getString("job");
                Emp emp = new Emp(empno, ename, job);
                emps.add(emp);
                System.out.println("查询成功");

            }
        } catch (SQLException e) {
            e.printStackTrace();
            System.out.println("查询失败");
        }finally {
            try {
                resultSet.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            try {
                preparedStatement.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            try {
                connection.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }

        }
        return emps;

    }

3.运行结果

### 回答1: 在Windows下使用IntelliJ IDEA连接Spark和Hive,需要进行以下步骤: 1. 安装Java和Spark:首先需要安装Java和Spark,并设置环境变量。 2. 下载Hive JDBC驱动:从Apache Hive官网下载Hive JDBC驱动,并将其添加到Spark的classpath。 3. 创建SparkSession:在Java代码创建SparkSession对象,并设置连接Hive的参数,如下所示: ``` SparkSession spark = SparkSession.builder() .appName("SparkHiveExample") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") .config("hive.metastore.uris", "thrift://localhost:9083") .enableHiveSupport() .getOrCreate(); ``` 其,`spark.sql.warehouse.dir`指定Hive的数据仓库目录,`hive.metastore.uris`指定Hive的元数据存储地址。 4. 执行Hive查询使用SparkSession对象执行Hive查询,如下所示: ``` Dataset<Row> result = spark.sql("SELECT * FROM mytable"); result.show(); ``` 其,`mytable`是Hive的表名。 通过以上步骤,就可以在Windows下使用IntelliJ IDEA连接Spark和Hive了。 ### 回答2: 在Windows操作系统下,使用IntelliJ IDEA连接Apache Spark到Apache Hive需要以下步骤: 1. 安装Spark<br> 首先需要安装Apache Spark,并将路径添加到系统环境变量。建议使用最新版本的Spark,因为这些版本支持最新版本的Hive。 2. 安装Hadoop<br> 要访问Hive,需要安装Hadoop并将路径添加到系统环境变量。Spark使用Hadoop API访问HDFS,并通过Hive Metastore来访问Hive表。 3. 添加Spark样例库<br> 在IntelliJ IDEA打开菜单“文件/设置”,然后在左侧窗格选择“Libraries”。点击“+”图标,选择“Java”,然后选择Spark样例库的路径,然后点击“OK”。 4. 连接到Hive<br> 创建一个Scala或Java项目。然后在IDEA打开窗口“View”菜单下的“Tool Windows”,然后单击“Database”。 在“Database”窗口,单击“+”图标,然后选择“Data Source” -> “Hive”。输入Hive Metastore的URL、用户名和密码,然后单击“Test Connection”以测试连接是否正常。 5. 创建连接<br> 在“Database”窗口,单击“+”图标,然后选择“Data Source” -> “Spark SQL”。输入Spark Master的URL,单击“Test Connection”以测试连接是否正常。 6. 创建Spark应用<br> 创建一个新的Scala或Java类,并添加以下依赖项: ``` "org.apache.spark" %% "spark-core" % "2.4.7" "org.apache.spark" %% "spark-sql" % "2.4.7" % "provided" ``` 编写Spark应用程序来连接到Hive表,例如: ```scala val spark = SparkSession.builder() .appName("Hive Spark Connection") .config("hive.metastore.uris", "thrift://localhost:9083") .enableHiveSupport() .getOrCreate() val df = spark.sql("select * from testdb.testtable") df.show() ``` 7. 运行应用程序<br> 如果应用程序没有运行,可以单击“Run”按钮,或使用命令行运行程序: ```bash spark-submit --class com.example.MyApp --master local[*] myapp.jar ``` 这就是使用IntelliJ IDEA和Spark连接到Hive的基本步骤。通过这种方法可以方便地使用Spark和Hive进行大数据处理。 ### 回答3: 在Windows下使用IDEA连接Spark和Hive,需要准备以下环境: 1.安装Java JDK和Hadoop 首先需要安装Java JDK和Hadoop。建议使用Java 8版本,同时要确保Hadoop已经正确安装。在Windows下安装Hadoop,可以参考官方文档或者其他教程。 2.安装Spark和Hive组件 接下来需要安装Spark和Hive组件。可以直接在官方网站上下载安装包进行安装,或者使用Maven进行自动化管理。 3.配置IDEA开发环境 在IDEA,需要添加Spark和Hive相关依赖的jar包。可以在POM文件添加依赖,也可以手动添加Jar包。 同时,还需要配置Spark和Hive的配置参数,主要包括以下内容: (1)Spark的Master和AppName (2)Hive Thrift Server的地址和端口 (3)HiveJDBC驱动程序 (4)Hive的用户名和密码 (5)Hive的默认数据库名称 上述配置可以在IDEA的“Run Configuration”进行设置。 4.编写代码连接Spark和HiveIDEA,可以使用Scala或Java编写代码连接Spark和Hive。示例代码如下: ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("connectHive").master("local").getOrCreate() val df = spark.read.format("jdbc").option("url", "jdbc:hive2://hive-server:10000/default").option("driver", "org.apache.hive.jdbc.HiveDriver").option("user", "hive").option("password", "hive").option("dbtable", "mytable").load() df.show() ``` 在这个示例代码,首先创建了一个Spark Session,并指定Master和AppName。然后使用Spark SQL的API连接Hive,通过HiveServer2访问Hive的“mytable”表,最后展示查询结果。 总之,在Windows下使用IDEA连接Spark和Hive,需要安装Java JDK、Hadoop、Spark和Hive组件,配置IDEA开发环境,然后使用Scala或Java编写连接代码。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lambda-小张

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值