数据库大批量数据操作实验报告

最新推荐文章于 2022-11-09 13:52:08 发布
最新推荐文章于 2022-11-09 13:52:08 发布
阅读量1.3k 收藏
点赞数
分类专栏： java 文章标签： 数据库 sqlserver sql 2010

今天由于项目需要进行了数据库大批量数据操作的实验：

由服务程序生成10万条记录，竟将其插入到SQLSERVER数据库中

第一次：刚开始用三层架构的Model 模式，即创建实体对象并给对象赋值，并且每次都关闭conn,程序循环执行10万次共用了80多分钟。

第二次：conn只打开一次，运行10万次共用了30分钟。

第三次：直接用字符串连接sql语句进行执行，抛弃model用了，执行10万次共用了5分钟。

第四次：用StringBuilder.append()操作sql语句，又节省了20多秒。

第五次:将所有语句（10万个）都用StringBuilder进行连接，结果SQLSERVER缓存溢出，出现异常。

第六次：将所有生成的数据都插入到datatable中然后用adapter.update到数据库中，使用时间未发生变化。

第七次：将所有生成的数据都插入到datatable中（用时2.1秒），然后用sqlbulkcopy的writerToServer方法(4.8秒)，10万条数据居然6.9秒。

sqlbulkcopy太牛叉了

 

原文地址 http://www.cnblogs.com/l1pe1/archive/2010/06/03/1750939.html

belmeng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
数据库实验8 java连接数据库(JDBC代码+报告)
06-29
《数据库系统概论》课程之实验八,通过JDBC访问数据库。本文件中包含实验报告一份，可运行代码一份与JDBC的驱动jar包。 程序实现了使用Java语言编程实现对数据库的访问，所有的SQL操作均在自己建立的新库里进行，数据库建议选用学生课程数据库，可以选择进行创建、插入、查询、删除和更新等操作，其中查询操作可以按学号、姓名、专业查询，删除操作可以选择按姓名、学号删除等。 代码简单易懂，是初学者必看的JDBC实验参考模板！
mysql数据库实验报告 数据表的操作
07-27
MySQL数据库的创建、查看、删除、使用命令。 表结构创建和修改、表约束的创建和修改； 表数据的插入、删除和修改； 表联系的创建和修改。
java连接数据库课程设计(1).doc
01-08
*******大 学 学 生 实 验 报 告 实验课程名称 J2EE及JAVA程序设计 开课实验室 DS1501 学 院 软件学院 年级 2012 专业班 2班 学 生 姓 名 学 号 开 课 时 间 2013 至 2014 学年第 2 学期 "总 成 绩 " " "教师签名 " " 软件学院制 《J2EE及JAVA程序设计》实验报告 开课实验室：DS1501 2015 年 6 月18日 "学院"软件学院 " "软工2班 "姓 " "成 " " " " " " "名 " "绩 " " "课程"J2EE及JAVA程序设 "实验项 "实验6-8: 图形界面编 "指导教师 " " "名称"计 "目 "程、抽象类与接口、数" " " " " "名 "据库。 " " " " " "称 " " " " "教" " "师" " "评" " "语"教师签名： " " "2014年 月 日 " "实验目的 " "实验六：基本掌握使用JAVA来完成基本的图形界面等调试与编程，实现理论课上" "讲述的内容PPT内容的验证。 " "实验七：掌握抽象类与接口的概念，验证代码，能写小程序。 " "实验八：掌握利用JAVA完成数据库课程中的基本数据记录操作。 " " " "二、实验内容 " " " "实验六内容： " "调试，验证，课件ppt内容，课后布置的作业（实验报告内容中可不写）。 " "实验七内容： " "完成教材12章关于抽象类与接口方面的范例内容的代码验证、后面作业的代码设" "计（实验报告中可不写）。 " "实验八内容：（二选一，提交该部分实验报告内容） " "利用图形界面编程，实现C/S模式的数据库访问操作。完成SQL " "SERVER或MYSQL数据库管理系统的安装，配置，JAVA数据库访问环境的配置；完 " "成数据库表的建立，记录插入等；建立用户表，包含用户名、密码字段；利用JA" "VA实现图形界面，用户登录验证，进入软件运行后，针对某表记录的增、删、改" "、查操作。 " "完成JAVA WEB应用开发，实现B/S模式的数据库访问操作。完成SQL " "SERVER或MYSQL数据库管理系统的安装，配置，JAVA数据库访问环境的配置，Tom" "cat服务器安装配置；完成数据库表的建立，记录插入等；建立用户表，包含用 " "户名、密码字段；利用JAVA实现WEB应用，通过浏览器访问WEB进行用户登录验证" "，进入WEB应用运行后，针对某表记录的增、删、改、查操作。 " "三、使用仪器、材料 " "JAVA SE JDK 1.7.55 " "Tomcat " "Sql server " " " "四、实验过程原始记录(数据、图表、计算等)： " "以下是我所连接的数据库表结构，Book表是存储图书信息的，Reader表是存储读" "者信息的，Borrow表是存储借阅记录的，User表是存储用户登录用户名和密码的" "。 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "为了不暴露表结构和只显示用户需要的信息，建立了一个视图record " " " " " " " "下面是用java连接数据库的过程： " "首先下载java连接sql数据库的驱动程序，配置环境。 " " " "下面是整个程序演示过程截图： " "1.登录界面 " "首先是登录界面 " " " "用户名或密码错误弹出登录失败消息框 " " " "2.初始界面 " "正确后进入初始界面，从视图中读取的数据库信息 " " " "3.增加功能 " "点击增加按钮弹出增加记录对话框 " " " "输入增加记录的信息后点击确定，再回到初始界面点击刷新按钮，可以看到刚增" "加的记录已经显示在初始界面中。 " " " "4.修改功能 " "点击修改按钮，弹出修改记录对话框 " " " " " " " " " " " "根据输入的读者编号和图书编号确定修改的是哪条记录，填入修改的信息后点击" "确定，回到初始界面点击刷新，可以看到修改的记录已修改掉 " " " " " "5.查询功能 " "点击查询按钮弹出搜索记录对话框 " " " "输入姓名点击确定就会在下面显示此姓名的相关记录 " " " "输入书名也可以查询此书相关的记录 " " " "6.删除功能，可以单行删除也可以多行删除 " "首先单行删除，选中一行后点击删除按钮就可以删除此条记录，而且数据库也相" "应地删除了此条记录，通过点击刷新再重新读取数据库数据可以证明 " " " "删除前 " " " " " "删除后 " " " "多行删除，选中多行后点击删除 " "删除前 " " " "删除后 " " " "点击刷新后 " " " "以
JAVA实验报告四数据库编程.docx
08-23
实验四数据库编程 1、实验目的: (1)掌握基本的DBMS的使用 (2)理解JDBC的概念 (3)运用JDBC-ODBC桥开发数据库系统 2、基本要求: (1)注意自始至终贯彻课程中所绍程序设计风格，养成良好的编程习惯。 (2)独立完成所布置习题。 (3)为保证尽量在统一安排的上机时间内编译运行通过程序,应事先设计好程序。 (4)认真完成每次实验，并写出实验报告。 3、实验内容与步骤: 完成一个具体的数据库系统的开发，如图书管理系统、人事管理系统、学生信息管理系统等等。
JDBC数据库编程(java实训报告)
做笔记\记录遇到的程序bug
07-05 6433
JDBC数据库编程(java实训报告)
中南林业科技大学Java实验报告十二：数据库系统设计 - 从0到1搭建java可视化学生管理系统源代码
是谢添啊
11-09 3450
java可视化程序（swing编程）：从0到1搭建java可视化学生成绩管理系统源代码分享（带代码注释），jdbc连接mysql数据库。
Oracle数据库更新大批量数据案例
09-09
今天小编就为大家分享一篇关于Oracle数据库更新大批量数据案例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
上海大学数据库原理(1)实验报告
04-28
上海大学数据库原理(1)实验报告（全）
数据库的还原和备份实验报告
05-25
数据库的还原和备份实验报告
数据库实验报告 Transact的数据定义语言DDL
03-08
数据库实验报告通常涵盖了数据库的设计、创建、操作和维护过程以及实验的结果和分析。在这些实验中，DDL（Data Definition Language，数据定义语言）是一个非常重要的主题，因为DDL语句用于定义数据库对象的结构和...
南邮数据结构试验全部源码
04-13
这是包含所有数据结构四次实验的源码，在大家不会的时候可以给大家参考，但是不希望大家去抄袭，态度决定高度！
学生成绩管理系统实验报告（内含JAVA程序，是连接数据库的，用的是JDBC技术）
06-08
这个是JAVA连接数据库的实验，利用的是JDBC技术。首先将数据导入sql server2000中，然后运行程序里的denglu就可以了，内含实验报告，JAVA程序及SQL数据。
python黑马程序员名片管理系统
11-09
第六章，关于在pycharm中编写名片管理系统演示案例。其中包括源代码。
java 操作数据库的实验报告
11-24
用java访问数据库，以及数据库中存储过程的应用，JDBC的应用
java数据库(mysql)连接总结
Above the cloud
11-08 1496
在通过setXxx()方法为SQL语句中的参数赋值时，可以通过输入参数的已定义SQL类型兼容的方法（例如，如果参数具有SQL类型为Integer，那么应该使用setInt()方法，也可以通过setObject()方法设置多种类型的输入参数。需要注意的是，表中的setDate()方法可以设置日期内容，但参数Dat e的类型是java.sql.Date，型是java.sql.Date，而不是java.util.Date。名称来获取指定数据，也可以通过字段的索引来获取指定的数据，字段的索引是从1开始编号的。
java与数据库连接实验报告_数据库原理与应用java实验报告
weixin_36485139的博客
02-25 1381
数据库原理与应用java实验报告 学生实验报告 课程名称： 数据库原理与应用 年 级： 专 业： 学 号： 姓 名： 指导教师： 实验地点： 2012 学年至 2013 学年度第 2 学期 目 录 实验一 SQL Server2005的基本操作 实验二 数据库表的建立 SQL命令使用之简单查询 实验三 SQL命令使用之复杂查询 实验四 SQL之数据更新、视图 实验五 数据库完整性实验 实验六 数据...
JDBC数据库编程(Java高级编程）实验报告二
weixin_48215313的博客
06-16 2326
实验原理及内容概述：1. 编写一个通用的数据库连接类，该类能实现数据库连接、数据库连接资源关闭等功能。2. 编写一个通讯录管理系统，要求系统具有增、删、改、查功能。实验目的：1. 掌握加载JDBC驱动程序；掌握数据库连接的创建；2. 掌握Statement接口数据库进行增加、删除、修改和查询操作；3. 掌握Statement对象的executeQuery()和executeUpdate()方法的使用；4. 掌握PreparedStatement接口数据库进行增加、删除、修改和查询操作；5. 掌握setStr
第6章 利用数组处理批量数据
Duanjiaxue的博客
02-21 207
发布文章 博文管理我的博客退出 Trash Temp 第2章 算法——程序的灵魂 第2章 算法——程序的灵魂 第2章 算法——程序的灵魂 第3章 最简单的C程序设计——顺序程序设计 第3章 最简单的C程序设计——顺序程序设计 第4章 选择结构程序设计 第4章 ...
java与数据库连接实验报告_数据库实验报告 PDF 下载
weixin_30899789的博客
02-25 565
一、准备工作：电脑上安装的oracle版本为12c企业版和第三方工具PL/SQL Develop，12c似乎没有支持scott用户(但是安装目录下面确实存在scott.sql，有些疑惑)，执行conn scott/tiger验证失败，经验证并非是加锁原因(alert user scott account unlock;)，而是不存在该用户，管理员查询scott.emp，也查询不到表，执行@H:\O...
MapReduce分批查询数据库处理大批量数据
最新发布
04-03
对于需要处理大批量数据的数据库查询任务，可以使用MapReduce来实现分批查询。具体实现步骤如下： 1. 将需要查询的数据分为多个小块，每个小块包含若干条记录。 2. 将每个小块数据分发到多个计算节点上，每个节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值