Java连接Mysql,Hive,Hbase

最新推荐文章于 2024-07-17 10:34:02 发布
最新推荐文章于 2024-07-17 10:34:02 发布
阅读量83 收藏
点赞数
文章标签： jdbc mysql hive hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dontlikerabbit/article/details/112391353
版权

Java连MySQL

public class BaseConfig{

    private class Config{

         String driver;
        String url;
         String username;
         String password;

        public Config(String driver,String url, String username, String password) {
            this.driver = driver;
            this.url = url;
            this.username = username;
            this.password = password;
        }
    }

    private Config config;

    {
        try {
            init();
            Class.forName(config.driver);
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }

    public void init() throws Exception {
        String path = Thread.currentThread().getContextClassLoader().getResource("datasource.properties").getPath();
        Properties pro = new Properties();
        pro.load(new FileReader(path));
        String url = pro.getProperty("url");
        if (null==url) {
            throw new Exception("缺少url配置项异常");
        }
        String driver = pro.getProperty("driver","com.mysql.jdbc.Driver");
        String username = pro.getProperty("username", "root");
        String password = pro.getProperty("password", "root");
        this.config = new Config(driver,url,username,password);
    }

    protected Connection getCon() throws SQLException {
        return DriverManager.getConnection(config.url,config.username,config.password);
    }

    protected void close(AutoCloseable...acs){
        for (AutoCloseable ac : acs) {
            if (ac!=null) {
                try {
                    ac.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}


public class BaseDao extends BaseConfig{
    private PreparedStatement getPst(Connection con,String sql,Object...params) throws SQLException {
        PreparedStatement pst = con.prepareStatement(sql);
        if (params.length>0) {
            for (int i = 0; i < params.length; i++) {
               pst.setObject(i+1,params[i]);
            }
        }
        return pst;
    }

    public Result exeNonQuery(String sql,Object...params){
        Connection con = null;
        PreparedStatement pst=null;
        try {
            con=getCon();
            pst=getPst(con,sql,params);
            return Result.succeed(pst.executeUpdate());
        } catch (SQLException e) {
            return Result.fail();
        }finally {
            close(pst,con);
        }
    }

    public Result exeQuery(String sql,Object...params){
        Connection con=null;
        PreparedStatement pst=null;
        ResultSet rst = null;
        try {
            con=getCon();
            pst=getPst(con,sql,params);
            rst=pst.executeQuery();
            List<List<String>> data = new ArrayList<>();
            if (rst!=null&&rst.next()) {
                final int CC = rst.getMetaData().getColumnCount();
                do{
                    List<String> row = new ArrayList<>(CC);
                    for (int i = 1; i <= CC; i++) {
                        row.add(rst.getObject(i).toString());
                    }
                    data.add(row);
                }while(rst.next());
            }
            return Result.succeed(data);
        } catch (SQLException e) {
            return  Result.fail();
        }finally {
            close(rst,pst,con);
        }
    }
}


public class Result<T>{

    private boolean err;
    private T data;

    public Result(boolean err, T data) {
        this.err = err;
        this.data = data;
    }

    public boolean isErr() {
        return err;
    }

    public T getData() {
        return data;
    }

    public static <T>Result succeed(T data){
        return  new Result(false,data);
    }
    public static Result fail(){
        return new Result(true,null);
    }
}


public class Test {
    public static void main(String[] args) {
        BaseDao dao = new BaseDao();
        Result<List<List<String>>> result = dao.exeQuery("select * from student");

        if (!result.isErr()) {
            List<List<String>> data = result.getData();
            for (List<String> row : data) {
                for (String col : row) {
                    System.out.print(col+"\t");
                }
                System.out.println();
            }
        }else{
            System.out.println("查询异常");
        }
    }
}

Java和MySQL运行结果一致
java中的运行结果截图
MySQL中运行结果截图

Java连Hive

public class BaseConfig {
    private class Config{
        private  String driver;
        private String url;
        private String username;
        private String password;
    }

    private Config config;

    private boolean valid(String url) {
        Pattern p = Pattern.compile("jdbc:\\w+://((\\d{1,3}\\.){3}\\d{1,3}|\\w+):\\d{1,5}/\\w+");
        Matcher m =p.matcher(url);
        return m.matches();
    }




    private void init() throws Exception {
        String path = Thread.currentThread().getContextClassLoader().
                getResource("datasource.properties").getPath();
        Properties pro = new Properties();
        pro.load(new FileReader(path));
        String url = pro.getProperty("url");
        if (null==url || !valid(url)) {
            throw new Exception("no or invalid url exception");
        }
        config = new Config();
        config.url=url;
        config.driver = pro.getProperty("driver", "com.mysql.jdbc.Driver");
        config.username = pro.getProperty("username", "root");
        config.password = pro.getProperty("password", "");
    }

    {
        try {
            init();
            Class.forName(config.driver);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    Connection getCon() throws SQLException {
        return DriverManager.getConnection(config.url,config.username,config.password);
    }

      void close(AutoCloseable...acs){
        for (AutoCloseable ac : acs) {
            if (ac!=null) {
                try {
                    ac.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

}

public class BaseDao extends BaseConfig {
    private PreparedStatement getPst(Connection con,String  sql,Object...params) throws SQLException {
        PreparedStatement pst = con.prepareStatement(sql);
        if (params.length>0) {
            for (int i = 0; i < params.length; i++) {
                pst.setObject(i+1,params[i]);
            }
        }
        return pst;
    }

    public Result exeNonQuery(String sql,Object...params){
        Connection con=null;
        PreparedStatement pst=null;
        try {
            con=getCon();
            pst=getPst(con,sql,params);
            pst.execute();
            return Result.succeed();
        } catch (SQLException e) {
            e.printStackTrace();
            return Result.fail();
        }finally {
            close(pst,con);
        }
    }

    public Result exeQuery(String sql,Object...params){
        Connection con=null;
        PreparedStatement pst=null;
        ResultSet rst = null;
        try {
            con=getCon();
            pst=getPst(con,sql,params);
            rst=pst.executeQuery();
            List<List<String>> table = new ArrayList<>();
            if (null!=rst&&rst.next()) {
              final int CC = rst.getMetaData().getColumnCount();
                do{
                    List<String> row = new ArrayList<>(CC);
                    for (int i = 1; i <=CC ; i++) {
                        row.add(rst.getObject(i).toString());
                    }
                    table.add(row);
                }while(rst.next());
            }
            return Result.succeed(table);
        } catch (SQLException e) {
            e.printStackTrace();
            return Result.fail();
        }finally {
            close(rst,pst,con);
        }
    }

    public String readSql(String...paths) throws IOException {
        String path = paths.length==0 ? "sql/sql.sql" :paths[0];
        StringBuilder builder = new StringBuilder();
        BufferedReader reader= new BufferedReader(new FileReader(path));
        String line = null;
        while (null != (line = reader.readLine())) {
            builder.append(line.trim()+" ");
        }
        return builder.toString();
    }


}


public abstract class Result<T> {
    private boolean err;
    private T data;

    public static Result fail(){
        return new Result(true) {
        };
    }
    public static <T> Result succeed(T...t){
        return new Result(false,t) {
        };
    }


    public Result(boolean err, T...data) {
        this.err = err;
        this.data = data.length>0 ? data[0]:null;
    }

    public boolean isErr() {
        return err;
    }

    public T getData() {
        return data;
    }
}

sql.sql文件写的HQL语句
在这里插入图片描述

public class App 
{
    public static void main( String[] args ) throws IOException {
        BaseDao dao = new BaseDao();
        Result<List<List<String>>> tables = dao.exeQuery(dao.readSql());
        tables.getData().forEach(row->{
            row.forEach(cell->{
                System.out.print(cell+"\t");
            });
            System.out.println();
        });
    }
}

Java和Hive运行结果一致
在这里插入图片描述
在这里插入图片描述

Java连Hbase

public class HBASEClientDemo {
    @Test
    public void createTable() throws IOException, SQLException {

        //1.获取hbase连接，配置
        //hbase.zookeeper.property.clientPort
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "192.168.181.129");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.创建admin
        Admin admin = conn.getAdmin();
        //4.创建表的相关信息，表名
        HTableDescriptor student = new HTableDescriptor(TableName.valueOf("student"));
        //5.添加列族信息
        student.addFamily(new HColumnDescriptor("info"));
        student.addFamily(new HColumnDescriptor("score"));
        //6.调用创建表的方法进行建表操作
        admin.createTable(student);
        //7.关闭连接
        conn.close();
    }
    //向表中添加数据
    @Test
    public void putData2Table() throws IOException {
        //1.配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "192.168.181.129");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.获取table
        Table student = conn.getTable(TableName.valueOf("student"));
        //4.往表中添加数据rowkey
         Put put = new Put(Bytes.toBytes("1001"));
        //5.添加列info：name zhangsan
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("gender"),Bytes.toBytes("male"));
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes("11"));
        //6.插入数据
        student.put(put);
        //7.关闭连接
        conn.close();
    }

    //读取数据
    @Test
    public void getDateFromTable() throws IOException {
        //1.配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.181.129");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        //2.连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.获取table
        Table student = conn.getTable(TableName.valueOf("student"));
        //4.读取数据，Get
         Get get = new Get(Bytes.toBytes("1001"));
        //5.获取结果
         Result result = student.get(get);
        //6.遍历
         Cell[] cells = result.rawCells();
        for (Cell cell : cells) {
            //获取具体的值
            System.out.println("rowkey:"+Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println("列族："+Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println("列名："+Bytes.toString(CellUtil.cloneQualifier(cell)));
            System.out.println("value:"+Bytes.toString(CellUtil.cloneValue(cell)));
            System.out.println("-----------------------------------");
        }
        //7.关闭连接
        conn.close();
    }

    //删除表
    @Test
    public void dropTable() throws IOException {
        //1.配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.181.129");
        conf.set("hbase.zookeeper,property.clientPort","2181");
        //2.连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.创建admin
       Admin admin = conn.getAdmin();
        //4.禁用表
        admin.disableTable(TableName.valueOf("student"));
        //5.删除表
        admin.deleteTable(TableName.valueOf("student"));
        //6.关闭连接
        conn.close();
    }

}

createTable之前Hbase中没有student表：
在这里插入图片描述
createTable之后Hbase中出现student表：
在这里插入图片描述
没有运行putData2Table，添加数据前，student是空表
在这里插入图片描述
运行putData2Table插入数据后，hbase中查询student表，结果如图
在这里插入图片描述
运行putData2Table插入数据后，java中查询student表，结果如图
在这里插入图片描述
运行dropTable后，显示student表已被删除
在这里插入图片描述

dontlikerabbit
关注
Java连接 MySQL详细教程，分享复习经验和后台开发面经
m0_63174475的博客
11-07 470
（由于安装了汉化包，英文版的用户可以对应图标来操作） 选中菜单栏文件，之后选择项目结构 选择Libraries 点击+ ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210321181721553.png?x-oss- 【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开：qq.cn.hn/FTf 免费领取 process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow
JDBC——java连接mysql、hive、hbase教程
weixin_48482704的博客
01-10 1479
JDBC模板一、准备工作1.1、创建Maven工程1.2、修改pom文件1.3、修改Project Structure1.4、修改Settings1.5、资源文件夹二、Java连接mysql2.1、添加依赖2.2、JDBC配置文件2.3、代码编写2.4、测试三、Java连接hive3.1、添加依赖3.2、配置文件3.3、代码编写3.4、测试四、Java连接hbase4.1、添加依赖4.2、windows主机映射4.3、代码编写 一、准备工作 1.1、创建Maven工程 工程ID Maven工作目录 保
java 链接mysql
baddog_的博客
05-30 223
import java.sql.*; public class ConnectSql { static final String JDBC_DRIVER = "com.mysql.jdbc.Driver"; static final String DB_URL = "jdbc:mysql://localhost:3306/mytest"; public st...
JAVA 连MYSQL
chenluancl的专栏
01-16 428
import java.sql.*;public class connect {    public static void main(String[] args)      {        try        {          Connection conn;          Statement stmt;          ResultSet res;          //加载Co
java连接mysql
c_chuxuezhe_的博客
03-29 988
连接本地 方式一： url: jdbc:mysql://localhost:3306/sportplay?useSSL=true&useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai username: root password: 123456 方式二： jdbc:mysql://localhost:3306/数据库名?配置 package com.cw.demo01; import java.s
Java连接MySQL
华墨1024的博客
02-07 1677
使用软件如下，方法为JDBC连接 MyEclipse 8.5 MySQL 8.0 使用驱动包为：mysql-connector-java-5.0.8.jar 下载链接：https://pan.baidu.com/s/1fPAupsG6hBuu-kAK3GO9aw 提取码：1se7 我使用最新版mysql-connector-java-8.0.19.jar没有成功，你也可以试试，有可能我方法...
Hive、MySQL、HBase数据互导
06-18
【Hive、MySQL、HBase数据互导】是大数据领域常见的数据处理操作，涉及三个不同的数据存储系统。Hive是一个基于Hadoop的数据仓库工具，它允许使用类SQL的查询语言HiveQL对大规模数据进行批处理和分析。MySQL是一种...
Java实现mysql、hive、hbase数据库元数据操作
qq_38804429的博客
09-07 2740
Java实现mysql、hive、hbase数据库元数据操作数据库元数据mysql的元数据hive的元数据hbase的元数据Java获取元数据Java获取mysql的元数据Java获取hive的元数据Java获取hbase的元数据 数据库元数据 元数据(Metadata)是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据，按用途的不同可分为两类：技术元数据(Technical Me...
spark连接mysql,hive,hbase
leader321的博客
01-10 915
创建项目 Maven–>NEXT New Project:Groupld :cn.kgc.hive Artifactld:spark_hive->NEXT->NEXT->Finsh Pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc
Spark连接MySQL，Hive，Hbase
AZengz的博客
01-10 246
Spark连接MySQL 一、添加依赖jar包 <!-- spark支持mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.32</version> </dependency>
java 连接 MySQL的小例子
01-13
java连接数据库的小例子， 就是自己写的java连接数据库的小例子。
将Java连接到MySQL数据库
xfxf996的博客
06-30 466
How do you connect to a MySQL database in Java? 您如何连接到Java中的MySQL数据库？ When I try, I get 当我尝试时，我得到
java mysql连接_java连接mysql
weixin_32585497的博客
01-18 133
java连接mysql时，需要安装驱动。如果未安装，会出现找不到“com.mysql.jdbc.Driver”的错误。最新版驱动是：mysql-connector-java-5.1.22安装驱动程序：1、下载jdbc的驱动,解压到任一位置中2、打开eclipse，找到再在windows->preferences->java->installed jres3、单击Sun JDk…....
JAVA MySQL连接
ok3356的博客
08-29 4814
第一步下载 http://dev.mysql.com/downloads/connector/j/ 第二步，解压并将解压后的jar放入WEB-INF下的lib中 第三步  在idea中按住ctrl+shift+alt+s打开 第四步：测试代码 package test.wg.c01.test; import java.sql.Connection; import java.sql...
java与mysql连接 使用mysql-connector-java连接msql
最新发布
m0_73952463的博客
07-17 2769
在java中，使用mysql的语法筛选数据库信息，轻松学习如何建立与mysql以及使用mysql语法。
java操作mysql
dongyuguoai的博客
08-21 846
https://blog.csdn.net/u010297791/article/details/52637868 https://blog.csdn.net/qq_32079585/article/details/51282917
java连接hbase、hive、mysql主体代码一览
adflower的博客
01-11 150
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 java连接hbase、hive、mysql主体代码一览一、Java连接Mysql1、编写BaseConfig类2、编写BaseDAO类3、编写Result类4、编写Test类二、Java连接Hbase代码实现 一、Java连接Mysql 连接Hive与连接Mysql区别主要在于pom依赖和resource文件，主体代码除了BaseConfig类中init()方法里password值为空外并无区别 1、编写BaseConfig类 impo
Java连接mysql数据库
热门推荐
qq_46480020的博客
10-30 3万+
JDBC连接，SQL注入以及如何解决SQL注入问题
实战操作与案例分析：Hive、MySQL、HBase数据互导详解
首先，我们需要进行Hive的预操作，然后使用Sqoop工具将数据从Hive导入MySQL，接着再将数据从MySQL导入HBase，最后使用HBase Java API将数据从本地导入到HBase中。 在准备工作方面，我们需要确保已经安装了Hive、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值