php读取csv指定行_实例详解PHP读取CSV大文件导入数据库

PHP读取CSV大文件导入数据库的实例

PHP如何对CSV大文件进行读取并导入数据库？

对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库，分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据：

/**

* csv_get_lines 读取CSV文件中的某几行数据

* @param $csvfile csv文件路径

* @param $lines 读取行数

* @param $offset 起始行数

* @return array

* */

function csv_get_lines($csvfile, $lines, $offset = 0) {

if(!$fp = fopen($csvfile, 'r')) {

return false;

}

$i = $j = 0;

while (false !== ($line = fgets($fp))) {

if($i++ < $offset) {

continue;

}

break;

}

$data = array();

while(($j++ < $lines) && !feof($fp)) {

$data[] = fgetcsv($fp);

}

fclose($fp);

return $data;

}

调用方法：

$data = csv_get_lines('path/bigfile.csv', 10, 2000000);

print_r($data);

函数主要采用行定位的思路，通过跳过起始行数来实现文件指针定位。

至于数据如何入库本文不再详细讲述。

上述函数对500M以内的文件进行过测试，运行通畅，对于更大的文件未做测试，请斟酌使用或加以改进。

这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持码农之家。

PHP处理CSV表格文件的常用操作方法总结

要做在线Excel表格编辑功能,Excel的xls文件格式的解析就是个问题,毕竟这是微软Office的私有专利格式.

所以要做的话还是用通用的csv(Comma Separated Value,逗号分隔值)格式吧.

各种办公软件都能识别csv表格,其实就是以特定分隔符(比如逗号)分隔单元格的表格.

拿PHP来说,fgetcsv读入csv表格,返回一个数组,

然后foreach输出成HTML的

工作量主要还在于浏览器前端,建议你用jQuery进行DOM和AJAX操作,

要实现phpMyAdmin那样细粒度双击单元格编辑,然后AJAX提交也不难,

或者整个表格写好后一次性$("form").serialize();然后AJAX提交也可以.

CSV表格的几条规则:1.每一行的单元格内容之间用逗号分隔.

2.如果单元格的内容本身有逗号,这个单元格的内容将会用引号包含.

3.如果单元格的内容本身有引号:

(1)引号不在首或尾,这个单元格内容不会被引号包含.

(2)引号在首或尾,这个单元格内容会被引号包含,并且原来首尾的引号会被转义.

读写CSV

header('Content-Type: text/plain; charset=utf-8');

//导出CSV表格:数组转CSV

$arr = array (

array('ab', 'cd'),

array('"a,b"', '"c,d"'),

);

$fp = fopen('file.csv', 'w');

foreach ($arr as $row) {

//将一行格式化为CSV并写入文件指针

fputcsv($fp, $row);

}

fclose($fp);

unset($arr);

//导入CSV表格:CSV转数组

$fp = fopen('file.csv', 'r');

while ( ($row = fgetcsv($fp)) !== FALSE ) {

//从文件指针中读入一行并解析CSV

$arr[] = $row;

}

fclose($fp);

var_export($arr);

另存为一个独立文件download.php:

$list = array (

'aaa,bbb,ccc,dddd',

'123,456,789',

'"aaa","bbb"'

);

session_start();

$_SESSION['outputArray']=$list;

?>

下载csv文件

test.php:

session_start();

$outputArray=$_SESSION['outputArray'];

header('Content-Type: application/csv');

header('Content-Disposition: attachment;filename="sales.csv"');

$output=fopen('php://output','w') or die("can not open");

foreach ($outputArray as $line) {

fputcsv($output, split(',', $line));

}

fclose($output) or die("can not close");

?>

自动保存csv文件到指定地点

$list = array (

'aaa,bbb,ccc,dddd',

'123,456,789',

'"aaa","bbb"'

);

$fp = fopen('file.csv', 'w');

foreach ($list as $line) {

fputcsv($fp, split(',', $line));

}

fclose($fp);

?>

以上就是本次给大家分享的关于java的全部知识点内容总结，大家还可以在下方相关文章里找到相关文章进一步学习，感谢大家的阅读和支持。

您可能感兴趣的文章: