php 日志抓取入库,洪量日志入库

最新推荐文章于 2021-04-13 01:39:35 发布

军机大臣上行走

最新推荐文章于 2021-04-13 01:39:35 发布

阅读量140

点赞数

文章标签： php 日志抓取入库

该博客探讨了如何高效地将大量日志数据（每个压缩文件约60M，共10个文件）快速导入数据库的问题。现有的脚本执行效率低下，作者提出了修改表类型为InnoDB并使用事务，但效果不佳。建议考虑使用LOAD DATA INFILE命令或者优化数据库索引、批量插入等方式提高效率。此外，日志按email分表策略可能导致性能瓶颈，可能需要重新评估分表策略。

摘要由CSDN通过智能技术生成

海量日志入库

日志目录下有10个日志文件，每个文件压缩后大约60M左右，文件后缀是.gz,如a.gz、b.gz等，文件中行的内容是id=2112112,email=xxx@163.com,等等其它，

id=2112112,email=xxx@163.com,等等其它，

现在是想把这个目录下的每个文件的所有内容insert到数据库中，数据库中的表，是通过email分表的，大约是log_1，log_2,一直到log_1000的分表的，请问下详细的解决方案，比如说怎么样能保证到每个文件在很快的时间内入库，使得脚本执行更有效率

先贴一段代码

error_reporting(E_ALL & ~E_NOTICE);

//接收参数

$mysql_host = XX.XX.XX.XX;

$mysql_user = XXX;

$mysql_pass = XX;

$mysql_port = 3306;

$mysql_db = 'test';

$table_pre = 'log_';

$gz_log_file = a.gz;

//脚本执行日志

$exec_log = '/data_log/record.txt';

file_put_contents ($exec_log,'*****************************************START***********************************'."\r\n",FILE_APPEND );

file_put_contents ($exec_log,'param is mysql_host='.$mysql_host.' mysql_user='.$mysql_user.' mysql_pass='.$mysql_pass.' mysql_port='.$mysql_port.' mysql_db='.$mysql_db.' table_pre='.$table_pre.' gz_log_file='.$gz_log_file.' start_time='.date("Y-m-d H:i:s")."\r\n",FILE_APPEND );

//读日志入库

$z_handle = gzopen($gz_log_file,'r');

$time_start = microtime_float();

$mysql_value_ary = array();

//链接数据库

$conn = mysql_connect("$mysql_host:$mysql_port",$mysql_user,$mysql_pass);

if (!$conn) {

file_put_contents ($exec_log,'Could not connect database error, error='.mysql_error()."\r\n",FILE_APPEND );

exit;

}

$selec_db = mysql_select_db($mysql_db);

if(!$selec_db){