拿帝吧检测bug の phpQuery 捉虫记

最新推荐文章于 2022-08-18 17:50:47 发布
最新推荐文章于 2022-08-18 17:50:47 发布
阅读量424 收藏
点赞数
分类专栏： vb2005xu新技术灌水 vb2005xu自己动手系列 文章标签： phpquery 采集 bug gbk 乱码

今天有个专题需求,摘取豆瓣/帝吧中针对某个关键字对其中的主题列表中的评论采集下来

 

之前使用java的jsoup搞过类似功能,使用php使用就找到了 phpQuery.

 

// 抓女神活动使用的数据
set_time_limit(0);

require_once 'ApiCommon.php';
require_once 'utils/phpQuery.class.php';
require_once 'utils/CB.class.php';
require_once 'utils/XmlExcelExport.class.php';

error_reporting( E_ALL & ~(E_STRICT | E_NOTICE | E_WARNING) );
ini_set('display_errors', 1);

//定义数据源
$source = array(
	'playgame' => array(
		'href' => 'http://www.douban.com/group/search?cat=1013&q=玩游戏',
		'kw' => '玩游戏',
		'filename' => 'playgame.xls',
		'function' => 'd_playgame',
	),
	'qijilanqiu' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球',
		'kw' => '奇迹篮球',
		'filename' => 'qijilanqiu.xls',
		'function' => 'd_di8',
	),
	'nvshenlianmeng' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=女神联盟',
		'kw' => '女神联盟',
		'filename' => 'nvshenlianmeng.xls',
		'function' => 'd_di8',
	),
	'maoxianqiyue' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=冒险契约',
		'kw' => '冒险契约',
		'filename' => 'maoxianqiyue.xls',
		'function' => 'd_di8',
	),
	
);

// --- 实际写

if ( empty($_GET['out']) )
{
	FuelCli::write("param `out` not set");
	exit;
}
$out = trim($_GET['out']);

if ( empty($source[ $out ]) )
{
	FuelCli::write("param `out` not valid: `{$out}`");
	exit;
}

$outfile = APPOUTBOX . '/' . $source[ $out ]['filename'];

$GLOBALS['_fpout'] = CoreFileOutput::instance($outfile);

FuelCli::write("create `_outbox/{$out}`");

$GLOBALS['_fpout']->text(XmlExcelExport::instance()->generateXMLHeader());

$GLOBALS['_fpout']->text( XmlExcelExport::instance()->worksheetStart( $source[ $out ]['kw'] ) );

//
//$GLOBALS['_fpout']->text(XmlExcelExport::instance()->setTableHeader( array(
//	'内容',
//)));


# 执行数据抓取方法
Core_Helper_Callback::getInstance()
	->set( $out , $source[ $out ]['function'])
	->call($out, array( $source[ $out ]['href'] ) );


$GLOBALS['_fpout']->text(XmlExcelExport::instance()->worksheetEnd());

$GLOBALS['_fpout']->text(XmlExcelExport::instance()->generateXMLFoot());

$GLOBALS['_fpout']->close();

$msg = sprintf("create success! time: %d, mem: %.4fM , File: `_outbox/%s`.", time() - APP_START_TIMESTAMP, (memory_get_usage()  / (1024*1024)) ,$out );

FuelCli::write($msg);

 

 

采集 豆瓣 没啥问题,很简单的取打开页面,例如:

// ## [玩游戏] 数据采集

function d_playgame( $url )
{
		
	# 通过分析页面规则得到,每页显示50条,可以通过参数 start=0 来控制
	
	phpQuery::newDocumentFileHTML($url,'utf-8');	
	
	// 在第一页中先求出共有多少页主题
	$firstPage = pq('div.paginator > span.thispage')->text();
	$endPage = pq('div.paginator > a:last')->text();
	
	if ( $endPage > 100 ) $endPage = 50;
	FuelCli::write( p_text("总页数: {$endPage}") );
	
	FuelCli::write( p_text( "处理第 `1` 页: " . $url ) );
	
	# 主题数组
	$topics = d_playgame_topics( pq('div.topics > table.olt') );
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	# 解析主题获取评论
	d_playgame_topics_parse( $topics );
		
	for ( $page=2;$page<=$endPage;$page++ )
	{
		# 暂停1秒,看是否能通过浏览器
		sleep(1);
		
		$start = ($page - 1) * 50;
		
		$purl = $url . '&start=' . $start;
		
		FuelCli::write( p_text( "处理第 `{$page}` 页: " . $purl ) );
		
		# 加载 页面
		phpQuery::newDocumentFileHTML( $purl ,'utf-8');		
		# 找到主题数组
		$topics = d_playgame_topics( pq('div.topics > table.olt') );
		phpQuery::$documents = array();# 释放内存,减少内存调用
		
		# 解析主题获取评论
		d_playgame_topics_parse( $topics );		
	}
	
}

/**
 * 解析 页面主题,返回对应的数组
 * 
 * @param phpQuery $doc
 * 
 * @return array
 */
function d_playgame_topics( $doc )
{
	$topics = array();
	
	foreach ( pq('tr.pl > td.td-subject > a',$doc) as $item )
	{
		$topics[ pq($item)->attr('href') ] = pq($item)->attr('title');
	}
	
	return $topics;
}

/**
 * 解析主题获取评论
 * 
 * @param array $topics
 * 
 * @return void
 */
function d_playgame_topics_parse( $topics )
{
	FuelCli::write( p_text( "主题数: " . count($topics) ) );
	
	$index = 0;
	foreach ( $topics as $href=>$topic )
	{
		$index ++;
		FuelCli::write( p_text( " -- {$index}: " . $href ) );
		
		# 对每个主题进行取评论
		d_playgame_topic_parse( $topic , $href );
		
		# 延迟 0.1 秒再进行请求
		usleep(100000);
	}

}

/**
 * 获取评论内容列表
 * 
 * @param string $topic
 * @param string $href
 * 
 * @return void
 */
function d_playgame_topic_parse( $topic , $href )
{		
	# 加载 页面
	phpQuery::newDocumentFileHTML( $href ,'utf-8');		
	# 提取评论项集合
	
	$index = 0;
	$comments = '';# 减少i/o写操作
	foreach ( pq('ul#comments > li.comment-item > div.reply-doc > p') as $item )
	{
		$comments .=  XmlExcelExport::instance()->parseRow( array( pq( $item )->text() ) );
		
		$index++;
	}
	$GLOBALS['_fpout']->text( $comments );
	
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	FuelCli::write( p_text( " --  -- 评论数: " . $index ) );
}

 

但是 采集帝吧的时候就出现问题了,帝吧使用的是GBK编码的,这就悲催了,

$url="http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球";
phpQuery::newDocumentFileHTML($url,'gbk');
$t = pq('title')->html();

echo mb_detect_encoding ($t);// result is : UTF-8
echo $t; // this is  乱码

 这就出现乱码了,仔细阅读其代码发现,貌似这大哥的第二个参数基本就是没有用的,很无奈的选择啊..

 

自己动手丰衣足食,色色只好自己上手了...

function d_di8_open( $url )
{
	$cnt = file_get_contents($url);
	return mb_convert_encoding($cnt ,"UTF-8","GBK");
}
$url="http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球";
phpQuery::newDocumentHTML( d_di8_open($url) );	
$t = pq('title')->html();

echo mb_detect_encoding ($t);// result is : UTF-8
echo $t; // this is right

 这样就正确了,所以 亲们使用 phpQuery 如果目标页面是 gbk或者其它非utf-8编码的,先进行内容抓取做转码吧,例如:

/**
 * 获取评论内容列表
 * 
 * @param string $topic
 * @param string $href
 * 
 * @return void
 */
function d_di8_topic_parse( $topic , $href )
{		
	# 加载 页面
	phpQuery::newDocumentHTML( d_di8_open($href) );		
	# 提取评论项集合
	$index = 0;
	$comments = '';# 减少i/o写操作
	foreach ( pq('div.p_content > cc > div.d_post_content') as $item )
	{
		// 因为帝吧使用的是GBK编码,故此处将其转成 utf-8编码
//		$text = p_text( pq( $item )->text() );
		$text = pq( $item )->text();
//		FuelCli::write( $text );	
		$comments .=  XmlExcelExport::instance()->parseRow( array( $text ) );
		
		$index++;
	}
	$GLOBALS['_fpout']->text( $comments );
	
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	FuelCli::write( p_text( " --  -- 评论数: " . $index ) );
}

 

输入如下:

写道
D:\phpeclipse\workspace\wyxcli>php crawl20130821.php out=qijilanqiu
create `_outbox/qijilanqiu`
总页数: 1
处理第 `1` 页: http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球
主题数: 50
-- 1: http://tieba.baidu.com/p/2534641226
-- -- 评论数: 6
-- 2: http://tieba.baidu.com/p/2527963747
-- -- 评论数: 2
-- 3: http://tieba.baidu.com/p/2529999511
-- -- 评论数: 7
-- 4: http://tieba.baidu.com/p/2553290615
-- -- 评论数: 5
-- 5: http://tieba.baidu.com/p/2527658421
-- -- 评论数: 4
-- 6: http://tieba.baidu.com/p/2442517157
-- -- 评论数: 3
-- 7: http://tieba.baidu.com/p/2552547772
-- -- 评论数: 5
-- 8: http://tieba.baidu.com/p/2551704915
-- -- 评论数: 3
-- 9: http://tieba.baidu.com/p/2546812394
-- -- 评论数: 4
-- 10: http://tieba.baidu.com/p/2551321130
-- -- 评论数: 2
-- 11: http://tieba.baidu.com/p/2548341950
-- -- 评论数: 4
-- 12: http://tieba.baidu.com/p/2519520372
-- -- 评论数: 11
-- 13: http://tieba.baidu.com/p/2545480033
-- -- 评论数: 4
-- 14: http://tieba.baidu.com/p/2546529051
-- -- 评论数: 3
-- 15: http://tieba.baidu.com/p/2535490334
-- -- 评论数: 14
-- 16: http://tieba.baidu.com/p/2517910085
-- -- 评论数: 13
-- 17: http://tieba.baidu.com/p/2529226727
-- -- 评论数: 2
-- 18: http://tieba.baidu.com/p/2544406437
-- -- 评论数: 7
-- 19: http://tieba.baidu.com/p/2539768377
-- -- 评论数: 4
-- 20: http://tieba.baidu.com/p/2534831859
-- -- 评论数: 2
-- 21: http://tieba.baidu.com/p/2537294810
-- -- 评论数: 3
-- 22: http://tieba.baidu.com/p/2542824941
-- -- 评论数: 2
-- 23: http://tieba.baidu.com/p/2541489544
-- -- 评论数: 7
-- 24: http://tieba.baidu.com/p/2540771551
-- -- 评论数: 8
-- 25: http://tieba.baidu.com/p/2539424700
-- -- 评论数: 4
-- 26: http://tieba.baidu.com/p/2540409043
-- -- 评论数: 4
-- 27: http://tieba.baidu.com/p/2539426813
-- -- 评论数: 5
-- 28: http://tieba.baidu.com/p/2539158959
-- -- 评论数: 4
-- 29: http://tieba.baidu.com/p/2538418239
-- -- 评论数: 5
-- 30: http://tieba.baidu.com/p/2539133118
-- -- 评论数: 2
-- 31: http://tieba.baidu.com/p/2536895475
-- -- 评论数: 2
-- 32: http://tieba.baidu.com/p/2539120530
-- -- 评论数: 4
-- 33: http://tieba.baidu.com/p/2538414986
-- -- 评论数: 2
-- 34: http://tieba.baidu.com/p/2536462810
-- -- 评论数: 6
-- 35: http://tieba.baidu.com/p/2534324575
-- -- 评论数: 4
-- 36: http://tieba.baidu.com/p/2524771361
-- -- 评论数: 8
-- 37: http://tieba.baidu.com/p/2532300903
-- -- 评论数: 20
-- 38: http://tieba.baidu.com/p/2528784304
-- -- 评论数: 8
-- 39: http://tieba.baidu.com/p/2528627411
-- -- 评论数: 4
-- 40: http://tieba.baidu.com/p/2532123359
-- -- 评论数: 7
-- 41: http://tieba.baidu.com/p/2529977911
-- -- 评论数: 5
-- 42: http://tieba.baidu.com/p/2533014180
-- -- 评论数: 5
-- 43: http://tieba.baidu.com/p/2529027118
-- -- 评论数: 5
-- 44: http://tieba.baidu.com/p/2527961913
-- -- 评论数: 2
-- 45: http://tieba.baidu.com/p/2519577941
-- -- 评论数: 9
-- 46: http://tieba.baidu.com/p/2532019472
-- -- 评论数: 1
-- 47: http://tieba.baidu.com/p/2531388657
-- -- 评论数: 15
-- 48: http://tieba.baidu.com/p/2531892898
-- -- 评论数: 1
-- 49: http://tieba.baidu.com/p/2520463405
-- -- 评论数: 3
-- 50: http://tieba.baidu.com/p/2525360009
-- -- 评论数: 3
create success! time: 19, mem: 1.4663M , File: `_outbox/qijilanqiu`.

D:\phpeclipse\workspace\wyxcli>php crawl20130821.php out=qijilanqiu
create `_outbox/qijilanqiu`
总页数: 尾页
处理第 `1` 页: http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球
主题数: 50
-- 1: http://tieba.baidu.com/p/2534641226
-- -- 评论数: 6
-- 2: http://tieba.baidu.com/p/2527963747
-- -- 评论数: 2
-- 3: http://tieba.baidu.com/p/2529999511
-- -- 评论数: 7
-- 4: http://tieba.baidu.com/p/2553290615
-- -- 评论数: 5
-- 5: http://tieba.baidu.com/p/2527658421
-- -- 评论数: 4
-- 6: http://tieba.baidu.com/p/2442517157
-- -- 评论数: 3
-- 7: http://tieba.baidu.com/p/2552547772
-- -- 评论数: 5
-- 8: http://tieba.baidu.com/p/2551704915
-- -- 评论数: 3
-- 9: http://tieba.baidu.com/p/2546812394
-- -- 评论数: 4
-- 10: http://tieba.baidu.com/p/2551321130
-- -- 评论数: 2
-- 11: http://tieba.baidu.com/p/2548341950
-- -- 评论数: 4
-- 12: http://tieba.baidu.com/p/2519520372
-- -- 评论数: 11
-- 13: http://tieba.baidu.com/p/2545480033
-- -- 评论数: 4
-- 14: http://tieba.baidu.com/p/2546529051
-- -- 评论数: 3
-- 15: http://tieba.baidu.com/p/2535490334
-- -- 评论数: 14
-- 16: http://tieba.baidu.com/p/2517910085
-- -- 评论数: 13
-- 17: http://tieba.baidu.com/p/2529226727
-- -- 评论数: 2
-- 18: http://tieba.baidu.com/p/2544406437
-- -- 评论数: 7
-- 19: http://tieba.baidu.com/p/2539768377
-- -- 评论数: 4
-- 20: http://tieba.baidu.com/p/2534831859
-- -- 评论数: 2
-- 21: http://tieba.baidu.com/p/2537294810
-- -- 评论数: 3
-- 22: http://tieba.baidu.com/p/2542824941
-- -- 评论数: 2
-- 23: http://tieba.baidu.com/p/2541489544
-- -- 评论数: 7
-- 24: http://tieba.baidu.com/p/2540771551
-- -- 评论数: 8
-- 25: http://tieba.baidu.com/p/2539424700
-- -- 评论数: 4
-- 26: http://tieba.baidu.com/p/2540409043
-- -- 评论数: 4
-- 27: http://tieba.baidu.com/p/2539426813
-- -- 评论数: 5
-- 28: http://tieba.baidu.com/p/2539158959
-- -- 评论数: 4
-- 29: http://tieba.baidu.com/p/2538418239
-- -- 评论数: 5
-- 30: http://tieba.baidu.com/p/2539133118
-- -- 评论数: 2
-- 31: http://tieba.baidu.com/p/2536895475
-- -- 评论数: 2
-- 32: http://tieba.baidu.com/p/2539120530
-- -- 评论数: 4
-- 33: http://tieba.baidu.com/p/2538414986
-- -- 评论数: 2
-- 34: http://tieba.baidu.com/p/2536462810
-- -- 评论数: 6
-- 35: http://tieba.baidu.com/p/2534324575
-- -- 评论数: 4
-- 36: http://tieba.baidu.com/p/2524771361
-- -- 评论数: 8
-- 37: http://tieba.baidu.com/p/2532300903
-- -- 评论数: 20
-- 38: http://tieba.baidu.com/p/2528784304
-- -- 评论数: 8
-- 39: http://tieba.baidu.com/p/2528627411
-- -- 评论数: 4
-- 40: http://tieba.baidu.com/p/2532123359
-- -- 评论数: 7
-- 41: http://tieba.baidu.com/p/2529977911
-- -- 评论数: 5
-- 42: http://tieba.baidu.com/p/2533014180
-- -- 评论数: 5
-- 43: http://tieba.baidu.com/p/2529027118
-- -- 评论数: 5
-- 44: http://tieba.baidu.com/p/2527961913
-- -- 评论数: 2
-- 45: http://tieba.baidu.com/p/2519577941
-- -- 评论数: 9
-- 46: http://tieba.baidu.com/p/2532019472
-- -- 评论数: 1
-- 47: http://tieba.baidu.com/p/2531388657
-- -- 评论数: 15
-- 48: http://tieba.baidu.com/p/2531892898
-- -- 评论数: 1
-- 49: http://tieba.baidu.com/p/2520463405
-- -- 评论数: 3
-- 50: http://tieba.baidu.com/p/2525360009
-- -- 评论数: 3
create success! time: 19, mem: 1.4663M , File: `_outbox/qijilanqiu`.

 

 本着将坏事做绝的心态给官方提了个issue,

 http://code.google.com/p/phpquery/issues/detail?id=232&thanks=232&ts=1377515316

 

 

phpQuery乱码的终极解决方案 写道

phpQuery乱码的终极解决方案

phpQuery是一款JQuery的PHP实现，用来解析网页元素DOM非常的方便，头疼的是他总是有乱码问题。其实也不能全怪phpQuery。
因为phpQuery分析网页元素时候进行网页编码探测使用的是正则表达式进行页面meta标签的charset匹配。但是总是有那么多奇形怪状的网页，所以也难免会出错。
比如这个页面 他就没有meta标签，phpQuery在处理这个页面的时候(function loadMarkupHTML)，就会遵循如下流程

if(正则表达式匹配meta标签失败,即documentCharset变量空){
if(定义了requestedCharset,就是那个newDocumentFileHTML后面的charset参数){
charset = requestedCharset
}
if(charset还不能被定义，即requestedCharset为空){
charset = phpQuery::$defaultCharset
}
if(documentCharset变量空){
根据HTTP 1.1的要求 设置默认documentCharset为ISO-8859-1
需要在后面补足标准的meta标记
}
}
if (requestedCharset && documentCharset && requestedCharset !== documentCharset){
如果存在mb_detect_encoding的话,进行编码转换
possibleCharsets = array(documentCharset, requestedCharset, 'AUTO')
docEncoding = mb_detect_encoding(markup, implode(', ', possibleCharsets));
if(检测不出docEncoding){
已documentCharset为准
}
if(docEncoding这个检测编码和requestedCharset不一样){
使用mb_convert_encoding进行编码转换
}

}
其余略

这里面有个问题,那就是mb_detect_encoding检测的编码不一定是准确的，大部分情况下，在ISO-8859-1优先的情况下(documentCharset排在前面)，他都认为该文档是ISO-8859-1，从而出现乱码。
所以，如果你这里定义了phpQuery::$defaultCharset，就可以避免这种情况的发生，这样的话 采集淘宝网首页 只要指定phpQuery::$defaultCharset=GBK，就不会乱码。
第二个问题是一个BUG，在phpQuery的大概273行（phpQuery 0.9.5 (r386; one file release) ）

$markup = $this->charsetFixHTML($markup);
1

$markup = $this->charsetFixHTML($markup);

这个BUG会导致中文wordpress博客，比如我这个博客，虽然有规范的meta标签 但是会被错误的charsetFixHTML。破坏了DOM结构，导致解析乱码。该BUG到Revision 393依旧没修复。 这个不注释的话，采集我的博客就会乱码.

所以 这里有我的一个修补版本，有兴趣的可以下了试试。phpQuery-onefile-ipatched|Dropbox|
由于PHPQuery是精确采集，所以你之前基本知道了网页的编码，那么只要指定了phpQuery::$defaultCharset，不管是有没有meta的页面或者meta不规范的页面，基本上都不会乱码。

规范的HTML页面演示

<?php //规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; //phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://page14.auctions.yahoo.co.jp/jp/auction/s237346475'); echo pq('title')->text(); echo pq("strong[property='auction:Price'])")->text(); ?>
1
2
3
4
5
6
7
8
9
10

<?php
//规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
//phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://page14.auctions.yahoo.co.jp/jp/auction/s237346475');
echo pq('title')->text();
echo pq("strong[property='auction:Price'])")->text();
?>

不规范的页面演示

<?php //不规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://storeuser11.auctions.yahoo.co.jp/jp/user/makototakahashi0316?alocale=0jp&mode=0&u=makototakahashi0316'); $trs = pq('#list01')->find('table tr:not(:first)'); foreach($trs as $tr){ $line = pq($tr)->find('td:first a'); $title = $line->text(); if($title){ $url = $line->attr('href'); echo $title.'---->'.$url.'<br />'; } } ?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

<?php
//不规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://storeuser11.auctions.yahoo.co.jp/jp/user/makototakahashi0316?alocale=0jp&mode=0&u=makototakahashi0316');
$trs = pq('#list01')->find('table tr:not(:first)');
foreach($trs as $tr){
$line = pq($tr)->find('td:first a');
$title = $line->text();
if($title){
$url = $line->attr('href');
echo $title.'---->'.$url.'<br />';
}
}
?>

<?php //规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; //phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://ihipop.info'); echo pq("title")->text(); //不规范meta演示 phpQuery::$defaultCharset = 'GBK'; phpQuery::newDocumentFileHTML('http://taobao.com'); echo pq("title")->text(); ?>
1
2
3
4
5
6
7
8
9
10
11
12
13

<?php
//规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
//phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://ihipop.info');
echo pq("title")->text();
//不规范meta演示
phpQuery::$defaultCharset = 'GBK';
phpQuery::newDocumentFileHTML('http://taobao.com');
echo pq("title")->text();
?>

注意 1.phpQuery的输出全部是UTF-8编码的.
2.phpQuery主页http://code.google.com/p/phpquery/

phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。如果不想让自己的内存被额沾满，每次解析完一个网页，把phpQuery::$documents置空
phpQuery::$documents = array();
1

phpQuery::$documents = array();

或者清空不必要的ID，节省内存。同理，你也可以有选择的保留一些ID 见http://code.google.com/p/phpquery/wiki/MultiDocumentSupport

Author Info :
From:phpQuery乱码的终极解决方案
URL:http://blog.ihipop.info/2011/08/2647.html
Please Reserve This Link,Thanks!

 

 

 

 

 

 

 

 

 

 

bj123nimab
关注
专栏目录
Unity开发bug记录100例子（第1例）——打包后shader失效或者bug
爱上游戏开发
06-30 7259
打包后shader失效或者bug ArgumentNullException: Value cannot be null. Parameter name: shader
Linux下内存检测利器Valgrind之Memcheck工具详解
dvlinker的技术专栏
10-16 2万+
Linux下内存检测利器Valgrind之Memcheck工具详解。
phpQuery占用内存过多的处理方法
10-26
本文解决phpQuery占用内存过多的问题
PHP占用内存越来越多,解决phpQuery占用内存过多的问题
weixin_33846508的博客
03-11 253
本节内容：phpQuery占用内存过多的问题phpQuery是一个用php实现的类似jquery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人(很快就超过了1G)，例如：复制代码 代码示例:while (t...
php占内存多,phpQuery占用内存过多的处理方法
weixin_29383429的博客
03-23 115
phpQuery占用内存过多的处理方法解决phpQuery占用内存过多的问题phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。 相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人(很快就超过了1G)，比如这段...
phpQuery占用过多内存的解决方法
哲
12-22 715
phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。 相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。 在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)， 比如这段代码： while (true) { phpQuery::
折磨半个月终于找到php脚本所谓的“内存泄露”原因！
雪峰流云
07-27 3万+
最近项目改版做2期，1期是我写的，当然2期也由我主要负责，我借鉴了同事和网上的多种可取方法，在性能上做了较大提升。 项目是一个后台网页爬取程序，使用php开发，基于DOMDocument+Xpath+curl多线程异步，同时少量网页使用phpQuery处理，正则表达式提取等等，处理数据的结构写入MySQL。在批量爬取处理过程中，内存占用很平稳，比如开300线程同时爬取html网页，做Dom+xp
听说你们害怕异常？保姆式的图文手把手教你如何调试出程序的 bug
热门推荐
易编橙 · 终身成长社群，相遇已是上上签！
03-18 4万+
程序中出现的错误，但又没有通过异常去捕获，以至于直接抛出，从能导致程序的崩溃，继而造成对应的功能未达到想要的效果，这就是我们经常说的 `程序出bug了`。测试工程师一般也会将软件缺陷叫做 bug，当然了这是一种广义上的bug(分类：功能错误、内容相关、用户界面的UI、代码错误、需求变更等)。今天我们所说的bug指的是代码错误导致的程序错误。
requests-html库初识 + 无资料解BUG之 I/O error : encoder error，Python爬虫第30例
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
09-05 1万+
这篇博客解决了一个BUG，恭喜你发现了 encoding error : input conversion failed due to input error, bytes 0x81 0xE3 0xD3 0xAA
Linux常见Bug解决方案
herosunly的博客
08-18 1万+
1. 系统对应硬盘损坏，但是其他硬盘可用 2. ping: www.baidu.com: Temporary failure in name resolution 3. openssh-server has no installation candidate 4. ssh root failed(ssh连接root用户失败) 5. IDRAC无法正常使用 6. 挂载其他硬盘......
使用phpQuery轻松采集网页内容
天下无敌庞成勇
06-21 816
phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。采集头条 先看一实例，现在我要采集新浪网国内新闻的头条，代码如下：include 'phpQuery/phpQuery.php'; phpQuery::newDocu
phpQuery的用法
weixin_33915554的博客
06-17 537
2019独角兽企业重金招聘Python工程师标准>>> ...
phpquery中文手册
lxw1844912514的博客
12-25 2911
【简介】phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容。更有意思的是，它采用了jQuery的思想，使得可以像使用jQuery一样处理页面内容，获取想要的页面信息。【步骤】1.引入phpquery类库下载连接点击下载include 'phpQuery/phpQuery.php'; 12加载需要获取内容的网页连接或则文档加载文档主要通过...
simple_html_dom使用不当导致的内存泄漏
dabao1989的专栏
11-24 1356
转自:http://wbean.3sbstudio.com/?p=77 今天用simple_html_dom写一个简单的网页爬虫（php5.2.3），运行很慢，并且很快超出默认的8m内存，后面把内存改成memory_limit = 128M才运行成功。这显然不满足我的要求。然后我用memory_get_usage()函数在每次循环结尾输出一下所用内存，循环每执行一次，内存上涨1m多，最后60次循
phpQuery,采集网页像jQuery一样顺畅丝滑。
weixin_33936401的博客
08-15 196
前言   平时开发中可能遇到一个问题。采集网页，小偷程序等等。各种花式秀正则的话，虽然能体现出geek，但是我觉得做事却不够优雅。采集到的网页说白了也是DOM，jQuery各种优雅地获取节点。幸好，有这个类库，帮我们解决了这个，那就是phpQuery. 为什么使用phpQuery phpQuery是基于php5新添加的DOMDocume...
curl模拟浏览器进行phpQuery抓取数据
weixin_30387799的博客
10-09 179
报Warning: file_get_contents(http://www.dianping.com/shop/8042874) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden inF:\work\www.xxxx.com\phpQuery.phpo...
QueryList爬取数据
qq_26959879的博客
07-12 2073
<?php namespace app\api\controller; use app\api\model\User; use GuzzleHttp\Client; use QL\QueryList; class Index { public function index() { return '您好！这是一个[api]示例应用'; } ...
C++ 捉虫子 输出bug出现的次数
最新发布
10-28
在C++中，如果你想要编写一段程序来模拟“捉虫子”并...在这个例子中，`catchInsect()`函数模拟了捉虫的过程，并通过随机数来决定何时出现bug（假设出现bug的概率是1/10）。当函数返回时，我们就能得到出现bug的次数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值