随手小记:
无聊的日子里总会充满奇葩的需求:使用SqlServer保存8G的大文件(为什么就不能使用文件系统保存文件呢)
来吧,开始记录吧:
在SqlServer中,varbinary(MAX)数据类型可以保存2G的字节,8G就是4~5个varbinary类型字段
先说我是怎么将文件存进去的,其实很简单,读取文件的inputStream流,使用的PreparedStatement 进行sql存储,
举例说明: demo.zip 文件大小为 1.5G
文件保存代码:
@Inject
private DataSource dataSource; //设置数据源
private DataSource dataSource; //设置数据源
Connection conn = null;
conn = dataSource.getConnection();
FileInputStream fis = new FileInputStream(new File(demo.zip));
//sql根据自己的实际情况去写,file_content字段属性是varbinary(max);
PreparedStream pre = conn.prepareStatment("insert into table (file_content) values(?)");
pre.setBlob(1, fis); //这就是关键的一步,是不是很简单粗暴
pre.execute();
FileInputStream fis = new FileInputStream(new File(demo.zip));
//sql根据自己的实际情况去写,file_content字段属性是varbinary(max);
PreparedStream pre = conn.prepareStatment("insert into table (file_content) values(?)");
pre.setBlob(1, fis); //这就是关键的一步,是不是很简单粗暴
pre.execute();
--------------------------------------------------------------
文件读取:如何从数据库中读取文件其实也是类似的
pre = conn.prepareStatment("select file_content from table"); //sql自己根据实际情况去写
ResultSet rs = pre.executeQuery();
rs.next();
InputStream in = rs.getBinaryStream(); // 这也是关键的一步
//有了inputStream ,接下来怎么处理文件就不需要继续叙述了,这边建议使用FileUtils包去处理文件
---------------------------------------------------------------
接下来就谈谈怎么把6G的文件进行切割(懒得敲了,从代码里摘出来的)
ResultSet rs = pre.executeQuery();
rs.next();
InputStream in = rs.getBinaryStream(); // 这也是关键的一步
//有了inputStream ,接下来怎么处理文件就不需要继续叙述了,这边建议使用FileUtils包去处理文件
---------------------------------------------------------------
接下来就谈谈怎么把6G的文件进行切割(懒得敲了,从代码里摘出来的)
time = new Date().getTime();
long time1 = time;
long time2 = time + 1;
long time3 = time + 2;
long time1 = time;
long time2 = time + 1;
long time3 = time + 2;
String path1 = backupDirTemp + File.separator + tradingDate + File.separator + time1 + ".txt";
String path2 = backupDirTemp + File.separator + tradingDate + File.separator + time2 + ".txt";
String path3 = backupDirTemp + File.separator + tradingDate + File.separator + time3 + ".txt";
File file1 = new File(path1);
File file2 = new File(path2);
File file3 = new File(path3);
FileInputStream in = new FileInputStream(new File(demo.zip));
FileOutputStream out1 = new FileOutputStream(file1);
FileOutputStream out2 = new FileOutputStream(file2);
FileOutputStream out3 = new FileOutputStream(file3);
FileChannel i = in.getChannel();
FileChannel o1 = out1.getChannel();
FileChannel o2 = out2.getChannel();
FileChannel o3 = out3.getChannel();
i.transferTo(0, i.size()/3, o1); //将fileChannelInput通道的数据,写入到fileChannelOutput通道
i.transferTo(i.size()/3, i.size()/3, o2);
i.transferTo((i.size()/3)*2, i.size(), o3);
Thread.sleep(1000);
FileInputStream i1 = new FileInputStream(file1);
FileInputStream i2 = new FileInputStream(file2);
FileInputStream i3 = new FileInputStream(file3);
下面就是文件在数据库内的保存,上面有写,不再赘述。