Sqlite 插入数据慢解决方法

sqlite 插入数据很慢的原因是因为它是已文件的形式存在磁盘中，每次访问时都要打开一次文件，如果对数据进行大量的操作，那时很慢。

 

解决方法是用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。

 

我在没有用事务形式插入4366条数据时用了507.781s，平均每一插入一条数据是116ms,用事务形式，插入只用了391ms，相关很大吧。

 

事务方式：

 

begin; INSERT INTO "table" VALUES ('a', 'b', 'c'); INSERT INTO "table" VALUES ('a', 'b', 'c'); INSERT INTO "table" VALUES ('a', 'b', 'c'); commit;

 

顺带一点在sqlite里的单引号转义不是用反斜杠'/'而是用单引号，就是在单引号前再加一个单引号（''）.

 

下面是写的一个统计apache的脚本，apache日志按日期分目录，在日期目录下按每小时分文件，日志数据源：

124.115.0.27 - - [25/02/2011:23:00:01] "GET /images/css.css HTTP/1.1" 200 3487 "http://www.XXXX.com/index.php?categoryid=175" "Sosospider+(+http://help.soso.com/webspider.htm)"

221.130.177.108 - - [25/02/2011:22:59:53] "GET /index.php?newsid=2010122810463740 HTTP/1.1" 200 5079 "-" "-"

脚本如下：

<?php /** * apache访问日志记录转换为SQLite库 * * 只保留IP，时间，session id * 注意: 执行程序与日志数据放在同一目录下，sqlite数据保存在ipdb目录下，以免找不到数据源 * */ $rootPath = __DIR__; //转换数据目录 $dirPath = $rootPath . '/'; //SQLite 数据库目录 $ipdbPath = $rootPath . '/ipdb'; $db = null; $fileArr = dirList($dirPath); foreach ($fileArr as $file){ $dbPath = str_replace($dirPath, $ipdbPath, $file); $dbPath = substr($dbPath, 0, -7) . '.db'; if (!file_exists($dbPath)){ if (FALSE === ($fp = fopen($dbPath, 'w'))){ exit("open file {$dbPath} fail!/n"); } fclose($fp); if (!is_null($db)){ $db = null;} $db = new PDO('sqlite:'.$dbPath); //$table = substr($file, -6, 2); $table = 'log'; // $sql = "DROP TABLE IF EXISTS '{$table}'; $sql = "CREATE TABLE '{$table}' ( 'ip' TEXT, 'start_time' TEXT, 'ucode' TEXT ); CREATE INDEX 'start_time' ON '{$table}' ('start_time' ASC); "; $db->exec($sql); }else{ if (is_null($db)){ $db = new PDO('sqlite:'.$dbPath);} } //插入文件夹记录 if (FALSE !== ($fp = fopen($file, 'r'))){ $i = 0; $db->beginTransaction(); while (!feof($fp)){ $buffer = fgets($fp, 1024); $ip = trim(substr($buffer, 0, strpos($buffer, '-'))); $start_time = substr($buffer, strpos($buffer, '[')+1, 19); if (FALSE === (strpos($buffer, ' /')) && empty($ip)) continue; $ucode = substr($buffer, strpos($buffer, ' /')+2, 32); $sql = "INSERT INTO 'log' ('ip', 'start_time', 'ucode') VALUES ('{$ip}', '{$start_time}', '{$ucode}')"; $db->exec($sql); //if (0 == ($i++ % 100)) echo '*'; } $db->commit(); fclose($fp); } } function dirList ($path) { $dir = dir($path); static $fileArr = array(); while(($file = $dir->read()) !== FALSE){ if (is_dir("{$path}/{$file}") && $file != '.' && $file != '..'){ dirList("{$path}/{$file}"); }else{ if ($file != '.' && $file != '..'){ $fileArr[] = $path . '/' . $file ; } } } $dir->close(); return $fileArr; } ?>