Java连接Mysql,Hive,Hbase

最新推荐文章于 2024-05-12 02:02:00 发布
最新推荐文章于 2024-05-12 02:02:00 发布
阅读量230 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AZengz/article/details/112428240
版权

Java连MySQL

一、添加config配置文件

在这里插入图片描述

driver=com.mysql.jdbc.Driver
url=jdbc:mysql://192.168.95.138:3306/kb06mysqltestdb?useUnicode=true&characterEncoding=utf8&useSSL=true
username=root
password=javakb10

二、初始化资源类

import java.io.FileReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Properties;

class BaseConfig {
    private class Config{
        String driver;
        String url;
        String username;
        String password;

        public Config(String driver, String url, String username, String password) {
            this.driver = driver;
            this.url = url;
            this.username = username;
            this.password = password;
        }
    }

    private Config config;

    {
        try{
            init();
            Class.forName(config.driver);
        } catch (Exception e) {
            System.err.println(e.getMessage());
        }
    }

    private void init() throws Exception {
        String path = Thread.currentThread().getContextClassLoader()
                .getResource("datasource.properties").getPath();
        Properties pro = new Properties();
        pro.load(new FileReader(path));
        String url = pro.getProperty("url");
        if(null==url){
            throw new Exception("缺少url配置项异常");
        }

        String driver = pro.getProperty("driver","com.mysql.jdbc.Driver");
        String username = pro.getProperty("username","root");
        String password = pro.getProperty("password","root");
        this.config = new Config(driver,url,username,password);
    }

    protected Connection getCon() throws SQLException {
        return DriverManager.getConnection(config.url,config.username,config.password);
    }

    protected void close(AutoCloseable...acs){
        for (AutoCloseable ac : acs) {
            if(null != ac){
                try {
                    ac.close();
                } catch (Exception e) {
                    e.getMessage();
                }
            }
        }
    }

}

三、执行sql语句类

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

public final class BaseDao extends BaseConfig {
    private PreparedStatement getPst(Connection con, String sql, Object... params) throws SQLException {
        PreparedStatement pst = con.prepareStatement(sql);
        if(params.length>0){
            for (int i = 0; i <params.length ; i++) {
                pst.setObject(i + 1, params[i]);
            }
        }
        return pst;
    }

    public Result exeNonQuery(String sql, Object... params) {
        Connection con = null;//连接对象
        PreparedStatement pst = null;// 执行对象
        try {
            con = getCon();
            pst = getPst(con, sql, params);
            return Result.succeed(pst.executeUpdate());
        } catch (SQLException e) {
            return Result.fail();//表示出异常了
        } finally {
            close(pst, con);
        }
    }

    //查询操作
    public Result exeQuery(String sql, Object...params){
        Connection con = null;
        PreparedStatement pst = null;
        ResultSet rst = null;
            try {
                con = getCon();
                pst = getPst(con,sql,params);
                rst = pst.executeQuery();
                List<List<String>> data = new ArrayList<>();
                if(null != rst && rst.next()){
                     final int CC = rst.getMetaData().getColumnCount();
                    do{
                        List<String> row = new ArrayList<>(CC);
                        for (int i = 1; i <CC ; i++) {
                            row.add(rst.getObject(i).toString());
                        }
                        data.add(row);
                    }while(rst.next());
                }
                return Result.succeed(data);
            } catch (SQLException e) {
                e.printStackTrace();
                return Result.fail();
            }finally {
                close(rst,pst,con);
        }
    }
}

四、结果集类

public final class Result<T> {
    private boolean err;
    private T data;

    public static <T> Result succeed(T data){
        return new Result(false,data);
    }

    public static Result fail(){
        return new Result(true,null);
    }

    private Result(boolean err,T data){
        this.err = err;
        this.data =data;
    }

    public boolean isErr() {
        return err;
    }

    public T getData() {
        return data;
    }

import java.util.List;

public class Test {
    public static void main(String[] args) {
        BaseDao dao = new BaseDao();
        Result<List<List<String>>> result= dao.exeQuery("select * from student");
        if(!result.isErr()){
            List<List<String>> data = result.getData();
                for(List<String> row : data){
                    for (String col : row) {
                        System.out.print(col+"\t");
                    }
                    System.out.println();
                }
            }else{
                System.out.println("查询异常");
            }
        }
    }

Java和MySQL运行结果一致
在这里插入图片描述

Java连Hive

一、添加config配置文件
与上述java连接mysql一致

二、初始化资源类

import java.io.FileReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Properties;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class BaseConfig {
    private class Config{
        private String driver;
        private String url;
        private String username;
        private String password;
    }
    private Config config;

    private boolean valid(String url){
        Pattern p = Pattern.compile("jdbc:\\w+://((\\d{1,3}\\.){3}\\d{1,3}|\\w+):\\d{1,5}/\\w+");
        Matcher m = p.matcher(url);
        return m.matches();
    }

    private void init() throws Exception {
        String path = Thread.currentThread().getContextClassLoader()
                .getResource("datasource.properties").getPath();
        Properties pro = new Properties();
        pro.load(new FileReader(path));
        String url = pro.getProperty("url");
        if(null==url || !valid(url)){
            throw new Exception("no invalid url exception");
        }
        config = new Config();
        config.url = url;
        config.driver = pro.getProperty("driver","com.mysql.jdbc.Driver");
        config.username = pro.getProperty("username","root");
        config.password = pro.getProperty("password","javakb10");
    }

    {
        try {
            init();
            Class.forName(config.driver);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    Connection getCon() throws SQLException {
        return DriverManager.getConnection(
                config.url,
                config.username,
                config.password);
    }

    void close(AutoCloseable...closeables){
        for (AutoCloseable closeable : closeables) {
            if(null != closeable){
                try {
                    closeable.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

三、执行sql语句类

import java.io.BufferedReader;
import java.io.FileReader;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

public class BaseDao extends BaseConfig {
    private PreparedStatement getPst(Connection con,String sql, Object...params) throws SQLException {
        PreparedStatement pst = con.prepareStatement(sql);
        if(params.length>0){
            for (int i = 0; i < params.length; i++) {
                pst.setObject(i+1,params[i]);
            }
        }
        return pst;
    }
    
    public Result exeNonQuery(String sql,Object...params){
        Connection con = null;
        PreparedStatement pst = null;
        try {
            con = getCon();
            pst = getPst(con,sql,params);
            pst.execute();
            return Result.succeed();
        } catch (SQLException e) {
            e.printStackTrace();
            return Result.fail();
        } finally {
            close(pst,con);
        }
    }
    
    public Result exeQuery(String sql,Object...params){
        Connection con = null;
        PreparedStatement pst = null;
        ResultSet rst = null;
        try {
            con = getCon();
            pst = getPst(con,sql,params);
            rst = pst.executeQuery();
            List<List<String>> table = null;
            if(null != rst && rst.next()){
                table = new ArrayList<>();
                final int COL = rst.getMetaData().getColumnCount();
                do{
                    List<String> row = new ArrayList<>(COL);
                    for (int i = 1; i <=COL ; i++) {
                        row.add(rst.getObject(i).toString());
                    }
                    table.add(row);
                }while (rst.next());
            }
            return Result.succeed(table);
        } catch (SQLException e) {
            e.printStackTrace();
            return Result.fail();
        }finally {
            close(rst,pst,con);
        }
    }
    
    public String readSql(String...paths) throws Exception {
        String path = paths.length==0 ? "sql/sql2.sql" : paths[0];
        StringBuilder builder = new StringBuilder();
        BufferedReader reader = new BufferedReader(new FileReader(path));
        String line = null;
        while (null != (line=reader.readLine())){
            builder.append(line.trim()+" ");
        }
        return builder.toString();
    }
}

四、结果集类

public abstract class Result<T> {
    private boolean err;
    private T data;

    public static Result fail(){
        return new Result(true) {};
    }

    public static <T> Result succeed(T...t){
        return new Result(false,t) {};
    }

    private Result(boolean err, T...data) {
        this.err = err;
        this.data = data.length>0 ? data[0] : null;
    }

    public boolean isErr() {
        return err;
    }

    public T getData() {
        return data;
    }
}

五、测试类

import java2hive.text.BaseDao;
import java2hive.text.Result;
import java.util.List;

public class App
{
    public static void main( String[] args ) throws Exception {
        BaseDao dao = new BaseDao();

        Result<List<List<String>>> tables = dao.exeQuery(dao.readSql());

        tables.getData().forEach(row->{
            row.forEach(cell->{
                System.out.print(cell+"\t");
            });
            System.out.println();
        });
    }
}

六、在执行sql语句类的对应文件中写入sql语句
在这里插入图片描述

Java连Hbase

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Test;
import java.io.IOException;

public class HBASEClientDemo {
    //创建一个表
    @Test
    public void createTable() throws IOException {
        //1.获取hbase连接，配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.95.138");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.创建admin
        Admin admin=conn.getAdmin();
        //4.创建表的相关信息,表名
        HTableDescriptor student = new HTableDescriptor(TableName.valueOf("student"));
        //5.添加列族信息
        student.addFamily(new HColumnDescriptor("info"));
        student.addFamily(new HColumnDescriptor("score"));
        //6.调用创建表的方法进行建表操作
        admin.createTable(student);
        //7.关闭连接
        conn.close();
    }
    //向表中添加数据
    @Test
    public void putData2Table() throws IOException {
        //1、配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.95.138");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3、获取table
        Table student = conn.getTable(TableName.valueOf("student"));
        //4、往表里添加数据 rowkey
        Put put = new Put(Bytes.toBytes("1001"));
        //5、添加列 info:name zhangsan
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("gender"),Bytes.toBytes("male"));
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(18));
        //6、插入数据
        student.put(put);
        //7、关闭连接
        conn.close();
    }

    //读取数据
    @Test
    public void getDataFromTable() throws IOException {
        //1、配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.95.138");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        //2、连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3、获取table
        Table student = conn.getTable(TableName.valueOf("student"));
        //4、读取数据，Get
        Get get = new Get(Bytes.toBytes("1001"));
        //5、获取结果
        Result result = student.get(get);
        //6、遍历
        Cell[] cells = result.rawCells();
        for (Cell cell : cells) {
            //获取具体的值
            System.out.println("rowkey:"+Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println("列族："+Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println("列名："+Bytes.toString(CellUtil.cloneQualifier(cell)));
            System.out.println("value："+Bytes.toString(CellUtil.cloneValue(cell)));
            System.out.println("--------------------------");
        }
        //7、关闭连接
        conn.close();
    }

    //删除
    public void dropTable() throws IOException {
        //1.获取hbase连接，配置
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.95.158");
        conf.set("hbase.zookeeper.property.clientPort","2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //3.创建admin
        Admin admin=conn.getAdmin();
        //4、禁用表
        admin.disableTable(TableName.valueOf("student"));
        //5、删除表
        admin.deleteTable(TableName.valueOf("student"));
        //7、关闭连接
        conn.close();
    }
}

createTable之前Hbase中没有student表：
在这里插入图片描述
createTable之后Hbase中出现student表：
在这里插入图片描述

AZengz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java 连接 MySQL的小例子
01-13
java连接数据库的小例子， 就是自己写的java连接数据库的小例子。
Hive、MySQL、HBase数据互导
06-18
【Hive、MySQL、HBase数据互导】是大数据领域常见的数据处理操作，涉及三个不同的数据存储系统。Hive是一个基于Hadoop的数据仓库工具，它允许使用类SQL的查询语言HiveQL对大规模数据进行批处理和分析。MySQL是一种...
java 链接mysql
baddog_的博客
05-30 214
import java.sql.*; public class ConnectSql { static final String JDBC_DRIVER = "com.mysql.jdbc.Driver"; static final String DB_URL = "jdbc:mysql://localhost:3306/mytest"; public st...
Java连接 MySQL详细教程
2401_84046645的博客
05-12 3062
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
JAVA 连MYSQL
chenluancl的专栏
01-16 424
import java.sql.*;public class connect {    public static void main(String[] args)      {        try        {          Connection conn;          Statement stmt;          ResultSet res;          //加载Co
java连接mysql
c_chuxuezhe_的博客
03-29 959
连接本地 方式一： url: jdbc:mysql://localhost:3306/sportplay?useSSL=true&useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai username: root password: 123456 方式二： jdbc:mysql://localhost:3306/数据库名?配置 package com.cw.demo01; import java.s
hadoop hive hbase安装过程
03-21
3. **配置 Hive 依赖**：Hive 需要依赖于 JDBC 驱动来连接 MySQL 数据库（用于存储元数据）。需要将 MySQL 的 JDBC 驱动文件复制到 Hive 的 lib 目录下。 4. **配置 Hive 属性文件**：编辑 `hive-site.xml` 文件，...
hadoop安装文件.rar，内涵hadoop安装的步骤word，hadoop、hive、hbase、sqoop、mysql等
最新发布
06-16
本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件（如Hive、HBase、Sqoop和MySQL）的安装步骤，这对于初学者和系统管理员来说是一份宝贵的资源。 首先，我们来详细了解一下Hadoop。Hadoop由Apache软件基金...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
- 创建Hive的metastore_db数据库，并配置Hive连接MySQL的用户和密码。 - 初始化Hive Metastore，执行Hive的`schematool`命令。 5. **集群搭建**： - 将上述所有组件安装在每台服务器上，包括Master和Slave节点。...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...
Java连接MySQL
华墨1024的博客
02-07 1659
使用软件如下，方法为JDBC连接 MyEclipse 8.5 MySQL 8.0 使用驱动包为：mysql-connector-java-5.0.8.jar 下载链接：https://pan.baidu.com/s/1fPAupsG6hBuu-kAK3GO9aw 提取码：1se7 我使用最新版mysql-connector-java-8.0.19.jar没有成功，你也可以试试，有可能我方法...
将Java连接到MySQL数据库
xfxf996的博客
06-30 447
How do you connect to a MySQL database in Java? 您如何连接到Java中的MySQL数据库？ When I try, I get 当我尝试时，我得到
java mysql连接_java连接mysql
weixin_32585497的博客
01-18 125
java连接mysql时，需要安装驱动。如果未安装，会出现找不到“com.mysql.jdbc.Driver”的错误。最新版驱动是：mysql-connector-java-5.1.22安装驱动程序：1、下载jdbc的驱动,解压到任一位置中2、打开eclipse，找到再在windows->preferences->java->installed jres3、单击Sun JDk…....
JAVA MySQL连接
ok3356的博客
08-29 4803
第一步下载 http://dev.mysql.com/downloads/connector/j/ 第二步，解压并将解压后的jar放入WEB-INF下的lib中 第三步  在idea中按住ctrl+shift+alt+s打开 第四步：测试代码 package test.wg.c01.test; import java.sql.Connection; import java.sql...
java操作mysql
dongyuguoai的博客
08-21 831
https://blog.csdn.net/u010297791/article/details/52637868 https://blog.csdn.net/qq_32079585/article/details/51282917
java连接hbase、hive、mysql主体代码一览
adflower的博客
01-11 142
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 java连接hbase、hive、mysql主体代码一览一、Java连接Mysql1、编写BaseConfig类2、编写BaseDAO类3、编写Result类4、编写Test类二、Java连接Hbase代码实现 一、Java连接Mysql 连接Hive与连接Mysql区别主要在于pom依赖和resource文件，主体代码除了BaseConfig类中init()方法里password值为空外并无区别 1、编写BaseConfig类 impo
Java连接mysql数据库
热门推荐
qq_46480020的博客
10-30 3万+
JDBC连接，SQL注入以及如何解决SQL注入问题
实战操作与案例分析：Hive、MySQL、HBase数据互导详解
首先，我们需要进行Hive的预操作，然后使用Sqoop工具将数据从Hive导入MySQL，接着再将数据从MySQL导入HBase，最后使用HBase Java API将数据从本地导入到HBase中。 在准备工作方面，我们需要确保已经安装了Hive、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值