poi+ResultSet+线程池导出数据库表结构

最新推荐文章于 2023-06-14 10:14:14 发布
最新推荐文章于 2023-06-14 10:14:14 发布
阅读量212 收藏
点赞数
分类专栏： 解决方案 文章标签： poi 线程池
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jesson_c/article/details/127764206
版权 
public class MainTest {
    private static ThreadPoolExecutor pool = new ThreadPoolExecutor(
            5,
            20,
            8,
            TimeUnit.SECONDS,
            new ArrayBlockingQueue<>(5),
            Executors.defaultThreadFactory(),
            new ThreadPoolExecutor.AbortPolicy()
    );

    public static void main(String[] args) {

        String extSchema = "";
        String driver = "com.mysql.cj.jdbc.Driver";
        //为了保密url暂时不写了
        String url = "";
        String user = "";
        String password = "";
        printTableStructure(driver, url, user, password,extSchema);

    }

    /**
     * 打印所有表结构
     *
     * @param driver   driver
     * @param url      url
     * @param user     user
     * @param password password
     * @throws Exception exception
     */
    private static void printTableStructure(String driver, String url, String user, String password,String extSchema){
        try{
            Class.forName(driver);
            Connection connection = DriverManager.getConnection(url, user, password);
            DatabaseMetaData metaData = connection.getMetaData();
            ResultSet schemaResultSet = metaData.getCatalogs();
            //同步单个库
            if(!StringUtils.isEmpty(extSchema)){
                generateFile(connection,metaData,extSchema);
            }else{
                Long start = System.currentTimeMillis();
                //CountDownLatch latch = new CountDownLatch(18);
                //同步所有库
                while(schemaResultSet.next()){
                    String schema = schemaResultSet.getString("TABLE_CAT");
                    if("information_schema".equals(schema) ||
                            "seata".equals(schema) ||
                            "szcgc".equals(schema) ||
                            "szcgc_project".equals(schema)){
                        continue;
                    }
                    //pool.execute(() -> {
                        generateFile(connection,metaData,schema);
                        //latch.countDown();
                    //});
                }
                //pool.shutdown();
                /*try{
                    latch.await();
                }catch (InterruptedException exception){
                    exception.getMessage();
                }*/
                System.out.println("同步耗时: "+ (System.currentTimeMillis() - start));
            }
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        } catch (SQLException throwables) {
            throwables.printStackTrace();
        }
    }

    private static void generateFile(Connection connection,DatabaseMetaData metaData,String schema){
        try{
            // 获取所有表
            ResultSet tableResultSet = metaData.getTables(schema, schema, "%", new String[]{"TABLE"});
            //poi生成excel
            XSSFWorkbook workbook = new XSSFWorkbook();
            //生成sheet
            XSSFSheet sheetIndex = workbook.createSheet("index");
            //设置列宽
            setColumnWidth(sheetIndex,1);
            //使用线程安全的类
            AtomicInteger i = new AtomicInteger(0);
            while (tableResultSet.next()) {
                try {
                    String tableName= tableResultSet.getString("TABLE_NAME");
                    String tableRemark = tableResultSet.getString("REMARKS");
                    Row row0 = sheetIndex.createRow(i.get());
                    Cell cell0 = row0.createCell(0);
                    cell0.setCellValue(tableRemark);
                    cell0.setCellStyle(indexCellStyle(workbook,"1"));
                    Cell cell1 = row0.createCell(1);
                    cell1.setCellValue(tableName);
                    cell1.setCellStyle(indexCellStyle(workbook,"2"));
                    //单元格加超链接
                    CreationHelper createHelper = workbook.getCreationHelper();
                    XSSFHyperlink hyperlink = (XSSFHyperlink) createHelper.createHyperlink(HyperlinkType.DOCUMENT);
                    hyperlink.setAddress("#"+tableName+"!A1");
                    cell1.setHyperlink(hyperlink);
                    i.incrementAndGet();
                    //生成表sheet
                    XSSFSheet sheetTable = workbook.createSheet(tableName);
                    setDetailColumnWidth(sheetTable);
                    Row rowTable0 = sheetTable.createRow(0);
                    rowTable0.setHeight((short)400);
                    Cell cellTable00 = rowTable0.createCell(0);
                    cellTable00.setCellValue(tableName);
                    Cell cellTable01 = rowTable0.createCell(1);
                    cellTable01.setCellValue(tableRemark);
                    Row rowTable1 = sheetTable.createRow(1);
                    rowTable1.setHeight((short)600);
                    Cell cellTable10 = rowTable1.createCell(0);
                    cellTable10.setCellValue("键说明");
                    cellTable10.setCellStyle(detailCellStyle(workbook));
                    Cell cellTable11 = rowTable1.createCell(1);
                    cellTable11.setCellValue("字段名称");
                    cellTable11.setCellStyle(detailCellStyle(workbook));
                    Cell cellTable12 = rowTable1.createCell(2);
                    cellTable12.setCellValue("字段类型");
                    cellTable12.setCellStyle(detailCellStyle(workbook));
                    Cell cellTable13 = rowTable1.createCell(3);
                    cellTable13.setCellValue("默认值");
                    cellTable13.setCellStyle(detailCellStyle(workbook));
                    Cell cellTable14 = rowTable1.createCell(4);
                    cellTable14.setCellValue("空值");
                    cellTable14.setCellStyle(detailCellStyle(workbook));
                    Cell cellTable15 = rowTable1.createCell(5);
                    cellTable15.setCellValue("字段描述");
                    cellTable15.setCellStyle(detailCellStyle(workbook,"1"));
                    //获取表所有主键
                    ResultSet pkColumns = connection.getMetaData().getPrimaryKeys(null,null,tableName);
                    // 获取表字段结构
                    ResultSet columnResultSet = metaData.getColumns(schema, schema, tableName, "%");
                    int j = 2;
                    while (columnResultSet.next()) {
                        // 字段名称
                        String columnName = columnResultSet.getString("COLUMN_NAME");
                        // 数据类型
                        String columnType = columnResultSet.getString("TYPE_NAME");
                        // 字段长度
                        int datasize = columnResultSet.getInt("COLUMN_SIZE");
                        // 小数部分位数
                        int digits = columnResultSet.getInt("DECIMAL_DIGITS");
                        // 是否可为空 1代表可空 0代表不可为空
                        int nullable = columnResultSet.getInt("NULLABLE");
                        // 描述
                        String remarks = columnResultSet.getString("REMARKS");
                        //默认值
                        String defValue = columnResultSet.getString("COLUMN_DEF");
                        // 主键
                        String pK = "NO";
                        while(pkColumns.next()){
                            String pkColumnName = pkColumns.getString("COLUMN_NAME");
                            if(columnName.equals(pkColumnName)){
                                pK = "PK";
                                break;
                            }
                        }
                        Row rowTable = sheetTable.createRow(j);
                        Cell cellTable0 = rowTable.createCell(0);
                        cellTable0.setCellValue(pK);
                        Cell cellTable1 = rowTable.createCell(1);
                        cellTable1.setCellValue(columnName);
                        Cell cellTable2 = rowTable.createCell(2);
                        cellTable2.setCellValue(columnType+"("+datasize+")");
                        Cell cellTable3 = rowTable.createCell(3);
                        cellTable3.setCellValue(defValue);
                        Cell cellTable4 = rowTable.createCell(4);
                        cellTable4.setCellValue(nullable == 0 ? "NOT NULL":null);
                        Cell cellTable5 = rowTable.createCell(5);
                        cellTable5.setCellValue(remarks);
                        if(!columnResultSet.isLast()){
                            cellTable0.setCellStyle(columnCellStyle(workbook));
                            cellTable1.setCellStyle(columnCellStyle(workbook));
                            cellTable2.setCellStyle(columnCellStyle(workbook));
                            cellTable3.setCellStyle(columnCellStyle(workbook));
                            cellTable4.setCellStyle(columnCellStyle(workbook));
                            cellTable5.setCellStyle(columnCellStyle(workbook,"1"));
                        }else{
                            cellTable0.setCellStyle(columnCellStyle(workbook,"2"));
                            cellTable1.setCellStyle(columnCellStyle(workbook,"2"));
                            cellTable2.setCellStyle(columnCellStyle(workbook,"2"));
                            cellTable3.setCellStyle(columnCellStyle(workbook,"2"));
                            cellTable4.setCellStyle(columnCellStyle(workbook,"2"));
                            cellTable5.setCellStyle(columnCellStyle(workbook,"3"));
                        }
                        j++;
                    }
                    pkColumns.close();
                    columnResultSet.close();
                } catch (SQLException throwables) {
                    throwables.printStackTrace();
                }
            }
            OutputStream os = null;
            try {
                os = new FileOutputStream("d:\\"+schema+".xlsx");
                workbook.write(os);
                os.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        } catch (SQLException throwables) {
            throwables.printStackTrace();
        }
    }

    //索引sheet样式设置
    private static CellStyle indexCellStyle(XSSFWorkbook workbook, String type){
        CellStyle cellStyle = workbook.createCellStyle();
        cellStyle.setBorderBottom(BorderStyle.THIN);
        cellStyle.setBorderLeft(BorderStyle.THIN);
        cellStyle.setBorderRight(BorderStyle.THIN);
        cellStyle.setBorderTop(BorderStyle.THIN);
        //设置字体
        Font font = workbook.createFont();
        font.setFontName("宋体");
        font.setFontHeightInPoints((short) 11);
        if("2".equals(type)){
            font.setUnderline((byte) 1);
            font.setColor(IndexedColors.BLUE.index);
        }
        cellStyle.setFont(font);
        return cellStyle;
    }

    //详细表sheet样式设置
    private static CellStyle detailCellStyle(XSSFWorkbook workbook){
        XSSFCellStyle cellStyle = workbook.createCellStyle();
        XSSFColor color=new XSSFColor(new java.awt.Color(155,194,230),new DefaultIndexedColorMap());
        cellStyle.setFillForegroundColor(color);
        cellStyle.setFillPattern(FillPatternType.SOLID_FOREGROUND);
        cellStyle.setVerticalAlignment(VerticalAlignment.CENTER);
        cellStyle.setBorderTop(BorderStyle.MEDIUM);
        cellStyle.setTopBorderColor(IndexedColors.BLUE.index);
        //设置字体
        Font font = workbook.createFont();
        font.setFontName("宋体");
        font.setFontHeightInPoints((short) 11);
        cellStyle.setFont(font);
        return  cellStyle;
    }

    private static CellStyle detailCellStyle(XSSFWorkbook workbook,String type){
        CellStyle cellStyle = detailCellStyle(workbook);
        cellStyle.setBorderRight(BorderStyle.MEDIUM);
        cellStyle.setRightBorderColor(IndexedColors.BLUE.index);
        return cellStyle;
    }

    //设置字段样式
    private static CellStyle columnCellStyle(XSSFWorkbook workbook){
        CellStyle cellStyle = workbook.createCellStyle();
        //设置字体
        Font font = workbook.createFont();
        font.setFontName("宋体");
        font.setFontHeightInPoints((short) 11);
        cellStyle.setFont(font);
        return  cellStyle;
    }

    private static CellStyle columnCellStyle(XSSFWorkbook workbook,String type){
        CellStyle cellStyle = columnCellStyle(workbook);
        //右边框
        if("1".equals(type)){
            cellStyle.setBorderRight(BorderStyle.MEDIUM);
            cellStyle.setRightBorderColor(IndexedColors.BLUE.index);
        }
        //底边框
        else if("2".equals(type)){
            cellStyle.setBorderBottom(BorderStyle.MEDIUM);
            cellStyle.setBottomBorderColor(IndexedColors.BLUE.index);
        }
        //表格最后一行需同时设置右边框和底边框
        else{
            cellStyle.setBorderRight(BorderStyle.MEDIUM);
            cellStyle.setRightBorderColor(IndexedColors.BLUE.index);
            cellStyle.setBorderBottom(BorderStyle.MEDIUM);
            cellStyle.setBottomBorderColor(IndexedColors.BLUE.index);
        }
        return  cellStyle;
    }

    //设置主页sheet列宽
    private static void setColumnWidth(XSSFSheet sheet,int index){
        for(int i = 0; i<=index; i++){
            sheet.setColumnWidth(i, 30 * 256);
        }
    }

    //设置详情sheet列宽
    private static void setDetailColumnWidth(XSSFSheet sheet){
        sheet.setColumnWidth(0, 30 * 256);
        sheet.setColumnWidth(1, 30 * 256);
        sheet.setColumnWidth(2, 15 * 256);
        sheet.setColumnWidth(3, 15 * 256);
        sheet.setColumnWidth(4, 15 * 256);
        sheet.setColumnWidth(5, 30 * 256);
    }

    //使用静态内部类（在初始化这个内部类的时候,JLS(Java Language  Sepcification)会保证这个类的线程安全）
    private static class SingleTonHolder{
        public final static XSSFWorkbook singleTon = new XSSFWorkbook();
    }
    public static XSSFWorkbook getInstance(){
        return SingleTonHolder.singleTon;
    }
}

jesson_c
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springboot+mybatis+poi 实现excel导入导出
09-04
springboot+mybatis+poi 实现excel导入导出操作
多线程导出mysql海量数据到excel表格
weixin_53496884的博客
04-21 376
5.controller代码6.service层代码@Autowired@Autowired@Override//查询出来全部需要导出的数据//每个excel存储的条数//计算总页数i++) {//有几页就循环几次springThreadPool.execute(() -> {//使用线程池执行导出//计算分页起始值//使用lambda表达式对总数据进行分页try {
使用线程池+分页查询大数据用来导出
JAVA_ZHZ的博客
12-28 1581
需求：最近需要做一个大数据的导入导出，数据量21w条30个字段。下面主要记录一次做导出时大数据的查询。思路：如果一次数据库查询太多数据，jvm就会内存溢出，所以我使用分页每次查询1万条数据，使用for循环，再把结果合并到一起。但是这种串行方式是阻塞的，查询21w数据大约需要15秒，然后就通过线程池用多线程查询，21w条数据用时2秒多。提示：以下是本篇文章正文内容，下面案例可供参考。
利用线程池来处理Excel导出功能
dian_dian_tou的博客
03-30 3064
首先，需求是：导入一份Excel数据，和数据库里面进行对比，若发现不一致的数据，则全部整成一份Excel导出来！ 然而: 由于数据量比较大，读写速度等原因，会造成接口请求超时！ 那么: 我给出的解决方案就是开启多线程处理数据写入Excel中 直接上代码： /** * 初始化线程池 * TODO (建议线程数 = 2 * CPU最大处理器数) */ private static ExecutorService executor = ThreadUtil.n.
poi实现多线程大数据导出
qq_35705176的博客
11-09 1573
Java多线程导出
详解poi+springmvc+springjdbc导入导出excel实例
08-31
本篇文章主要介绍了poi+springmvc+springjdbc导入导出excel实例，非常具有实用价值，需要的朋友可以参考下。
POI +反射导出数据库到excel
10-31
用java的poi和反射技术，把数据库的数据导出到excel的操作。直接可以拷贝到项目中使用。
POI + Struts2 实现Excel导出工具包
05-23
POI + Struts2 实现Excel导出工具包，POI + Struts2 实现Excel导出工具包
Springboot+Poi实现Excel的导入导出
01-28
主要是springboot+myBatis+poi+mysql的使用，从数据库查询到结果集导出excel到本地，从本地中的excel文件导入到数据库中。
多线程导出Excel(百万级别)_Java版优化.zip
09-10
用开源 Apache POI 技术导出Excel，解决导出大数据出现OOM、栈溢出问题，此资源可实现百万级数据多线程分批导出Excel文件，不会内存溢出，生产环境已很稳定的使用者，所以用到的技术很核心、值得参考
java多线程导出excel（千万级别）优化
12-05
轻松解决普通poi形式导出Excel的中出现的栈溢出问题，此资源可实现千万级数据分批导出csv文件，csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
多线程池多线程导入Excel数据到数据库，使用Apache POI把数据库数据导出为Excel文件
m0_74436268的博客
06-14 1378
调试多线程程序可能会更加困难，并且由于线程之间的相互依赖关系，修改一个线程可能会对其他线程产生影响，增加了维护的复杂性。这种上下文切换会引入一定的开销，特别是当线程数目很多时，上下文切换的开销可能会超过线程并发带来的性能提升。线程安全问题：多线程并发操作共享的数据时，需要考虑线程安全性。内存占用：每个线程都需要分配一定的内存空间，当同时运行大量线程时，会消耗大量的内存资源。尽管多线程池可以提高数据上传的效率，但在使用时需要权衡以上缺点，根据具体情况进行合理的调度和控制，以确保系统的稳定性和性能。
Java获取Mysql表结构和获取ResultSet对象中列的类型和属性信息的方法
h363659487的博客
11-13 2218
获取表结构的方法 Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/MALL?user=root&password=123456"); DatabaseMetaData meta = (DatabaseMetaData) conn.getMetaData(); ResultSet ...
Java 线程池技术简要分析
comil4444的专栏
06-04 175
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
resultSet.getString(“COLUMN_NAME“)； 的参数对应的中文意思
吃素的哈士奇de博客
04-23 1774
TABLE_CAT String => 表类别（可为 null） TABLE_SCHEM String => 表模式（可为 null） TABLE_NAME String => 表名称 COLUMN_NAME String => 列名称 DATA_TYPE int => 来自 java.sql.Types 的 SQL 类型 TYPE_NAME String => 数据源依赖的类型名称，对于 UDT，该类型名称是完全限定的 COLUMN_SIZE int => 列
一个使用POI进行Excel多线程写操作的demo
热门推荐
John Gao的专栏
07-22 1万+
最近项目中要使用POI进行Excel大数据量写入的功能，以下是alex写的一个简单demo。其中，使用了ThreadPoolExecutor、CountDownLatch。由于POI的sheet中使用TreeMap存储行数据集，所以对Sheet的行创建是非线程安全的，所以进行了同步操作。
POI结合线程池批量处理导入减少导入时间
a80C51的博客
12-28 858
话不过多说，直接上代码。核心思想1，利用ExecutorService service = Executors.newFixedThreadPool(10);创建一个长度为10的线城池，用以导入开线程导入 2，创建两个计数器CountDownLatch rowLatch = new CountDownLatch(1); CountDownLatch exceLatch = new CountDow
使用线程池导出Excel数据
398701344努力加油！
11-18 6781
之前同事在做一个功能的时候，需要导出一些数据，但是组装数据量的过程比较麻烦一点，所以这里给了一个建议看看能不能使用多线程的方法来进行处理。顺便写了两个demo，一种方式是批量分段去往一个sheet页中写入数据，另一种方式是往多个sheet也中写入数据。demo如下： 批量分段导出数据package com.zkn.newlearn.opensource.poi; /** * Created b
springboot+vue+elementui上传excel数据库
最新发布
09-05
SpringBoot是一个轻量级的Java框架，可以帮助我们快速开发应用程序。Vue是一种用于构建用户界面的JavaScript框架，而ElementUI是基于Vue的一个UI组件库。上传Excel文件到数据库的过程可以分为前端和后端两个部分。 在前端，我们可以使用Vue和ElementUI来实现文件上传的功能。首先，我们需要使用ElementUI的上传组件来创建一个可以选择和上传Excel文件的表单。然后，我们可以使用Vue的钩子函数来监听文件上传事件，在文件上传成功后，将文件传递给后端。 在后端，我们可以使用SpringBoot来处理上传的Excel文件并将其存储到数据库中。首先，我们需要定义一个接收Excel文件的接口，使用SpringBoot的注解@RequestParam来接收前端传递过来的文件。然后，我们可以使用Apache POI库来解析Excel文件，并将解析后的数据存储到数据库中。最后，我们可以返回一个上传成功的提示信息给前端。 总结起来，实现SpringBoot和Vue、ElementUI的文件上传Excel数据库的过程为：前端使用ElementUI的上传组件实现文件选择和上传，后端使用SpringBoot处理上传的Excel文件并将其保存到数据库中。这样就实现了将Excel文件中的数据导入到数据库的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值