php 数据库随机插入,mysql随机数据生成并插入

mysql随机数据生成并插入

dblp数据库中引用信息很少，平均一篇论文引用0.2篇。使用dblp做实验数据集的某篇论文提到，可以随机添加引用信息。受此启发，我打算为每一篇论文都添加20篇随机引用，于是就写出了如下的sql语句：

String sql = "insert into citation(pId1,pId2) values( (select pId from papers limit ?,1),(select pId from papers

limit ?,1))";

使用preparedstatement，以batch方式提交数据库。

第一个参数是paper的rowid信息，从0~N(N为papers的total row)。第二个参数是java生成的20个不重复的随机数，范围是0-N。然后嵌套在for循环里，每1w条数据提交给数据库一次。

这段代码巧妙运用limit的特性完成随机选tuple，本来是暗暗得意的。自以为把所有的select都交给数据库去做了，省去了通过jdbc的多次连接，应该是很快就可以运行完成的。哪知，插了不过10w条(10000*10)数据，就耗时22分钟之多。最终的实验需要插入400w条数据，也就是说要花14h左右。

于是开始反思，不断做写类似的程序查找时间瓶颈，最终锁定在select limit，这个操作极耗时间。当初选用limit，原因在于：随机生成的是数字，要把数字映射到tuple，也就是对应到rowid；由于papers表的主键并非递增int，所以默认的rowid不存在。后来一想，可以在papers表上先增加一个auto_increment的temp列，完成citation插入后再删除。这样sql语句就改成了：

String sql = "insert into citation(pId1,pId2) values((select pId from papers where temp=?), (select pId from

papers   where temp=?))";

再一次插入10w条数据，耗时38s。效率大幅提高，但不知道还可不可以进一步优化。

相关文档：

今天练习在JSP页面中实现分页效果，在查询语句方面牵扯到了top的用法。简要做一下总结：

为实现类似top的功能，我们在SQL Server中和MySQL中使用到的SQL语句是不同的。

1、在SQL Server中，我们使用  select top N * ......

niginx安装流程

软件下载:--->

mkdir -p /home/dancebear/programe

cd /home/dancebear/programe

wget http://sysoev.ru/nginx/nginx-0.6.31.tar.gz

wget http://www.php.net/get/php-5.2.6.tar.gz/from/this/mirror

wget http://php-fpm.anight.org/downloads/head/php-5.2.6-fpm-0.5.8.diff.gz

wget http://dev ......

/******************************************************************************/

/*

主流数据库MYSQL/MSSQL/ORACLE测试数据库脚本代码

脚本任务:建立4个表,添加主键,外键，插入数据,建立视图

运行环境1:microsoft sqlserver 2000 查询分析器

运行环境2:mysql5.0 phpMyAdmin网页界面

运行环境3:oracle 9i SQL*P ......

MySQL集群是一种在无共享架构系统里应用内存数据库集群的技术。这种无共享的架构可以使得系统使用非常便宜的并且是最小配置的硬件。

MySQL集群是一种分布式设计，目标是要达到没有任何单点故障点。因此，任何组成部分都应该拥有自己的内存和磁盘。任何共享存储方案如网络共享，网络文件系统和SAN设备是不推荐或不� ......

引言

数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库是简洁的、结构明晰的，同时，不会发生插入(insert)、删除(delete)和更新(update)操作异常。反之则是乱七八糟，不仅给数据库的编程人员制造麻烦，而且面目可憎，可能存储了大量不需要的冗余信息。

设计范式是不是很难懂呢？非也 ......