使用原生JDBC循环读取文件并持久化到数据库

最新推荐文章于 2024-05-22 11:56:18 发布
最新推荐文章于 2024-05-22 11:56:18 发布
阅读量125 收藏
点赞数
文章标签： 数据库 java 开发工具
原文链接：http://www.cnblogs.com/lovefaner/p/10763127.html
版权

先上代码：

package com.demo.common.service;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Properties;





public class ReadFileService {
    
    private static Integer counts = 0;
    
    private static Connection conn = null;
    private static PreparedStatement pre = null;
    
    //基础信息
    public static void getBase(String strPath) { 
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
        List<String> filelist = new ArrayList<String>();
        if (files != null ) {
            for (int i = 0; i < files.length; i++) {
                String fileName = files[i].getName();
                String filetype = "";
                String filePath = "";
                String xmmc = "";
                if (files[i].isDirectory()) { // 判断是否文件夹，如果是文件夹则一直遍历
                    getBase(files[i].getAbsolutePath());
                } else { // 判断文件后缀
                    filelist.add(fileName);
                    filePath = files[i].getAbsolutePath().substring(0, files[i].getAbsolutePath().lastIndexOf("\\")+1);
                    if(!"".equals(filePath))filelist.add(filePath);
                    xmmc = fileName.substring(fileName.indexOf("年")-4, fileName.indexOf("."));
                    if(!"".equals(xmmc))filelist.add(xmmc);
                        if(fileName.endsWith("pdf")){
                            filetype = "12";
                        }else{
                            filetype = "11";
                        }
                    filelist.add(filetype);
                    String sql = "insert into g_files_db values (sys_guid(), ?, ?, ?, ?, to_char(sysdate,'yyyy-MM-dd'))";
                    try {
                        //int result = DataBaseHelper.update(sql, new Object[]{fileName,filePath,xmmc,filetype});
                        pre = conn.prepareStatement(sql);
                        pre.setString(1, fileName);
                        pre.setString(2, filePath);
                        pre.setString(3, xmmc);
                        pre.setString(4, filetype);
                        int result = pre.executeUpdate();
                        counts = counts + result;
                    } catch (Exception e) {
                        e.printStackTrace();
                        counts = -1;
                        return;
                    }
                    
                } 
            }
            
        }
    }
    
    //坐标信息
    public static void getCoordinate(String strPath) { 
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
        List<String> filelist = new ArrayList<String>();
        if (files != null ) {
            for (int i = 0; i < files.length; i++) {
                String fileName = files[i].getName();
                String filetype = "";
                String filePath = "";
                String xmmc = "";
                if (files[i].isDirectory()) { // 判断是否文件夹，如果是文件夹则一直遍历
                    getCoordinate(files[i].getAbsolutePath());
                } else { // 判断文件后缀
                    filelist.add(fileName);
                    filePath = files[i].getAbsolutePath().substring(0, files[i].getAbsolutePath().lastIndexOf("\\")+1);
                    if(!"".equals(filePath))filelist.add(filePath);
                        xmmc = fileName.substring(fileName.indexOf("年")-4, fileName.indexOf("."));
                    if(!"".equals(xmmc))filelist.add(xmmc);
                    if(fileName.endsWith("prj")){
                        filetype = "32";
                    }else if(fileName.endsWith("dbf")){
                        filetype = "33";
                    }else if(fileName.endsWith("sbn")){
                        filetype = "34";
                    }else if(fileName.endsWith("sbx")){
                        filetype = "35";
                    }else if(fileName.endsWith("shp")){
                        filetype = "31";
                    }else if(fileName.endsWith("shp.xml")){
                        filetype = "36";
                    }else if(fileName.endsWith("shx")){
                        filetype = "37";
                    }else{
                        filetype = "40";
                    }
                    filelist.add(filetype);
                    String sql = "insert into g_files_db values (sys_guid(), ?, ?, ?, ?, to_char(sysdate,'yyyy-MM-dd'))";
                    try {
                        //int result = DataBaseHelper.update(sql, new Object[]{fileName,filePath,xmmc,filetype});
                        pre = conn.prepareStatement(sql);
                        pre.setString(1, fileName);
                        pre.setString(2, filePath);
                        pre.setString(3, xmmc);
                        pre.setString(4, filetype);
                        int result = pre.executeUpdate();
                        counts = counts + result;
                    } catch (Exception e) {
                        e.printStackTrace();
                        counts = -2;
                        return;
                    }
                    
                } 
            }
            
        }
    }
    
    //1,首先需要找到目录为“项目清单”的文件夹
    public static void getDirectory(String strPath) {
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
        //String fileDirectory = "";
        if (files != null ) {
            for (int i = 0; i < files.length; i++) {
                String fileName = files[i].getName();
                if (files[i].isDirectory()) { // 判断是否是对应的目录
                    if(fileName.contains("项目清单")){
                        getType(files[i].getAbsolutePath());   //调用方法，查找是否包含“项目调查表”、“坐标”文件夹。
                    }
                    else getDirectory(files[i].getAbsolutePath());
                }else{
                    continue;
                } 
            }
            
        }
    }
    
    //2.找到基础信息目录和坐标目录，文件夹需要创建合理
    public static void getType(String strPath) {
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
        if (files != null ) {
            for (int i = 0; i < files.length; i++) {
                String fileName = files[i].getName();
                if (files[i].isDirectory()) { // 判断是文件还是文件夹
                    if(fileName.contains("项目调查表")){
                        getBase(files[i].getAbsolutePath());
                    }else if(fileName.contains("坐标")){
                        getCoordinate(files[i].getAbsolutePath());
                    }else getType(files[i].getAbsolutePath());
                }else{
                    continue;
                }
            }
        }
    }
    
    //将所有shp格式的文件写入到文件中
    public static void writeSHP(String path){
        File file = new File(path);
        String sql = "select filepath || regexp_substr(filename, '[^.]+', 1, 1) filename from G_FILES_DB where type = '31'";
        try {
            if(!file.exists()){
                file.createNewFile();
            }
            FileOutputStream outStream = new FileOutputStream(file,true);
            pre = conn.prepareStatement(sql);
            ResultSet re = pre.executeQuery();
            while(re.next()){
                outStream.write(re.getString(1).getBytes("utf-8"));
                outStream.write("\r\n".getBytes("utf-8"));
            }
            outStream.close();
            //counts = 0;
        } catch (Exception e) {
            e.printStackTrace();
        }
        counts = 0;
    }
    
    //方法入口
    public static void main(String[] args) {
        Properties prop = read();
        String path = prop.getProperty("file.path");
        String savePath = prop.getProperty("file.savePath");
        String url = prop.getProperty("file.url");
        String user = prop.getProperty("file.user");
        String psd = prop.getProperty("file.password");
        conn = getConn(url, user, psd);
        getDirectory(path);
        if(counts < 0){
            System.out.println("数据已存在，再次插入失败！");
        }else{
            System.out.println("更新了"+counts+"条数据");
            writeSHP(savePath);
            closeConn();
        }
    }
    
     //获取连接
        public static Connection getConn(String url,String user,String psd){
            try {
                Class.forName("oracle.jdbc.driver.OracleDriver");
            } catch (Exception e) {
                e.printStackTrace();
            }
            try {
                conn = DriverManager.getConnection(url,user,psd);
            } catch (Exception e1) {
                e1.printStackTrace();
            }
            return conn;
        }
    
        //关闭所有连接
        public static void closeConn (){
            try {
                if(pre != null){
                    pre.close();
                    pre = null;
                }
                if(conn != null){
                    conn.close();
                    conn = null;
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
            
        }
        
        //获取配置文件访问对象
        public static Properties read() {
            Properties pro = new Properties(); 
            File file = new File("C:\\EIfilePath\\application.properties");
            try {
                FileInputStream in = new FileInputStream(file);
                pro.load(in);
            } catch (Exception e) {
                System.out.println(e);
            }
            return pro;
        }
}
View Code

1，类中的方法主要是根据需要遍历的目的文件夹进行遍历，根据类型的不同，存入到数据库中，同时也包括了JDBC对象的创建、使用、关闭。同时将部分数据写入到txt文件中。

2，除了Java文件外，还需要创建一个配置文件，配置文件中配置了遍历目的文件夹，数据库信息，写入字符串到哪个文件。

在eclipse等IDE中直接运行主函数即可。

3，如果使用cmd窗口直接运行class文件，则需要注意以下几点：

　　1），在cmd中输入：javac -encoding utf-8 ReadFileService.java                  //ReadFileService是类名；-encoding utf-8设置编码格式，如果不设置，且类中有中文，则会报错。

　　2），编译完成后，再执行命令：java ReadFileService                                //执行命令前，要确保Java文件同目录下有对应的配置文件，且在配置文件中，所需配置都配置无误。

4，说下环境变量配置问题，由于使用cmd运行class文件，且类中涉及与数据库交互问题，则需要在classpath中配置驱动jar包路径，这里以Oracle为例吧。

.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;C:\ojdbc6.jar            // .; 注意不要忘记

.class文件，.properties配置文件一定在同一目录下，因为程序中使用的是通过获取.class文件的路径然后获取.properties文件的。

5，application.properties中的属性配置

 

file.path=C:\\EIfilePath
file.url=jdbc:oracle:thin:@172.16.1.23:1521:orcl
file.user=nfb_Devs_v5
file.password=1qazxsw2
file.savePath = C:\\EIfilePath\\SHP.txt

类似如此的循环遍历功能，需要文件夹及文件的命名规则要一直，要保持一定的统一标准。

转载于:https://www.cnblogs.com/lovefaner/p/10763127.html

从零实现一个数据库持久层框架kd-jdbc
HackDaily
08-31 1万+
站在巨人的肩膀上前行，本文参考Mybatis设计思想，自定义了数据库持久层框架kd-jdbc，实现参数映射，sql解析，面向接口编程等功能。
jdbc原生事务处理
caoyong804495178的博客
12-20 385
首先先了节一下Statement 和 PreparedStatement之间的关系和区别： Statement 和 PreparedStatement之间的关系和区别. 关系：PreparedStatement继承自Statement,都是接口 区别：PreparedStatement可以使用占位符，是预编译的，批处理比Statement效率高 详解： 1、PreparedStateme...
Java笔记篇（JDBC基础循环）
qq_58849698的博客
07-13 408
循环 一、while循环 语法 while(布尔类型表达式){ 循环操作(循环体) } 执行流程 判断布尔类型表达式如果为true,执行循环体，然后回到判断条件，为true继续执行循环体，直到为false循环结 束。 特点：首次有入口条件，先判断，再执行，适用于循环次数明确的情况。 二、do...while... 语法: do{ 循环操作(循...
JDBC执行循环执行SQL报超最大游标
nqmysb的博客
01-18 520
show parameter open_cursors; alter system set open_cursors=300 scope=both;   statement，和resultset对象用的时候要及时close();
Java通过 JDBC 连接数据库操作
weixin_46448719的博客
03-14 8238
Java通过 JDBC 连接数据库操作1. 程序是怎么操作数据库的？2. 什么是JDBCJDBC 工作原理3. JDBC 使用3.1 创建项目并添加 MySQL 驱动3.2 使用代码操作数据库3.2.1 获得数据源3.2.2 获得连接3.2.3 获得执行器3.3.4 查询或操作数据库3.3.5 关闭数据库连接 首先，我们想要操作一个数据库服务器，需要有一个数据库客户端，以 MySQL 数据库为引例，最直接的数据库客户端它自己驱动窗口的 ① 命令行工具。 一般我们还可以配置出一些 ② 带界面的GUI客户
java如何实现JDBC连接数据库，循环遍历表中内容并实现存进ArrayList集合中？
最新发布
Heartoxx的博客
05-22 349
2.1.jdbc操作数据库七步曲搭好壳子（我自己随便说的七步曲：注册驱动、获取连接、定义sql、获取statement对象、执行sql、获取返回值、 释放资源）2.5.利用add（）方法将对象存进集合中： list.add(account);//6.2 获取数据 getXxx()//4. 获取statement对象。//3. 定义sql。//5. 执行sql。
Java使用JDBC向数据库存取大文本(比如小说等)
weixin_50216991的博客
10-08 4249
前言 之前学MySQL时，有学到过MySQL等数据库可以存储大文本，比如小说等。今天我刚好学完了JDBC，想拿这个应用来练练手。也算是给我的JDBC学习画上一个小句号，然后就去学连接池等，最后就学框架了。 一、使用JDBC向数据库存取小说 想要在数据库中读写大文本或二进制类型的数据，就必须综合使用PreparedStatement和IO流的相关技术。 在MySQL等数据库中，TEXT数据类型可以存储1-65535个字符的不确定定长度的字符串，MEDIUMTEXT数据类型可以存储1-146万个字符的不
Java操作数据库之jdbc【原生方式】
01-27
总结来说，JDBC是Java数据库编程的基础，理解并掌握其使用方法对于学习更高级的持久化框架如Hibernate和MyBatis至关重要。通过JDBC，开发者可以灵活地实现对数据库的各种操作，同时保持代码的通用性和可维护性。
从JDBC到Mybatis到Mybatis-plus
weixin_43336527的博客
08-13 2659
最近在学习持久层，我从jdbc到mybatis到mybatisplus自己上网找了几个demo来模仿学习理解。 本文属于自己学习的一个阶段总结理解。说得不对的地方还请各位指出。 文章目录JDBCMybatisMybatis-Plus JDBC 简介：JDBC API 允许用户访问任何形式的表格数据，尤其是存储在关系数据库中的数据。 执行流程： 连接数据源，如：数据库。 为数据库传递查询和更新指令。 处理数据库响应并返回的结果。 传统的桥接模式，但逐渐显现一些缺点： 1.SQL语句硬编码在java代码文件
JDoodle数据库连接指南：JDBC使用与数据库操作实操
![JDoodle数据库连接指南：JDBC...JDBC通过使用驱动程序，能够在不同的数据库管理系统（DBMS）之间进行切换，实现数据库无关性。JDBC为数据库操作提供了一种统一、高效的方法，包括SQL语句的发送、数据处理以及数据库
JDBC —— ResultSet 循环取出多条数据
weixin_45098998的博客
11-18 5298
ResultSet对象的next方法配合while()循环取出数据 package cn.itcast.jdbc; /* * user表的数据查询 * */ import java.sql.*; public class JdbcDemo7 { public static void main(String[] args) { Connection conn =n...
使用Hibernate向MySQL数据库中存取文件
yugang1219的专栏
02-02 4153
文件上传是一个系统中的常见功能。可以把文件内容存储在磁盘中，在数据库中存储路径，或者把文件内容直接存储到数据库中。第二中方法的关键在于数据库中存储文件内容的字段用什么数据类型，以及怎么把向数据库存取二进制文件。本文探讨的正是这一内容。1、在myeclipse中新建项目，在项目中导入Hibernate的包2、建立Hibernate工具类：HibernateUtils.java，代码如下：
JDBC处理大数据（大文本的存储和读取）
soboer
11-17 260
JDBC处理大数据（大文本的存储和读取） 1. 基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob • clob用于存储大文本。Text • blob用于存储二进制数据，例如图像、声音、二进制文等。 对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为： • TINYTEXT、TEXT...
向数据库中插入一个文件流
DGenerationX的专栏
12-14 663
 public void insertDB() throws FileNotFoundException,ClassNotFoundException,IllegalAccessException, InstantiationException, SQLException {String filePathFrom = "D://my.jpg" ;File file = new File(fileP
java jdbc(三）应用实例--向数据库中存储，读取图片和文件
zfireear的博客
04-12 1779
1.向数据库存储图片通过PreparedStatement接口的setBinaryStream()方法，将二进制信息设置为parameterIndex。setBinaryStream method： 1) public void setBinaryStream(int paramIndex,InputStream stream) throws SQLException 2) public v
Java 小例子：数据持久化（保存数据到文件）
YidingHe's Blog
03-09 1万+
说数据持久化，初学者可能还不太懂；但要说把数据保存到文件，这谁都懂了。为什么说持久化就是把数据保存到文件？持久化指的就是当程序退出后，其中的数据能够保留下来，供程序再次运行的时候使用。这些数据保留在什么地方最好呢？当然是文件里。保存到文件是数据持久化最常用的方式，除此之外，还可以把数据保存到数据库，或者发送到其它机器，这都是持久化。不过保存在文件是最简单的方式。具体来说就是：选取需要保存
Java - 使用JDBC操作数据库时，如何提升读取数据的性能？如何提升更新数据的性能？
热门推荐
了解➔熟悉➔掌握➔精通
03-16 3万+
分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击http://www.captainbed.net 要提升读取数据的性能，可以通过结果集（ResultSet）对象的setFetchSize()方法指定每次抓取的记录数（典型的空间换时间策略）；要提升更新数据的性能可以使用PreparedStatement语句构建批处理，将若干SQL语句置于一个批处理...
JDBC中的批量执行
蜕变的快乐
06-14 3519
针对JDBC的大文件和图片的传输问题
Java数据库编程：BLOB字段处理与JDBC应用
3. **数据源配置**：在Tomcat等应用服务器中，配置数据源确保应用程序可以持久化地连接数据库，而无需每次都重新注册驱动。 4. **创建数据库和表**：讲解了如何使用JavaDB（Derby）创建数据库和表，以及运行SQL语句...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值