[置顶] 拿帝吧检测bug の phpQuery 捉虫记

最新推荐文章于 2018-12-25 09:49:00 发布
最新推荐文章于 2018-12-25 09:49:00 发布
阅读量554 收藏
点赞数
分类专栏： phpquery 采集 bug gbk 乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vb2005xu/article/details/52540105
版权
采集 同时被 3 个专栏收录
1 篇文章 0 订阅
订阅专栏
bug
1 篇文章 0 订阅
订阅专栏
gbk
1 篇文章 0 订阅
订阅专栏

今天有个专题需求,摘取豆瓣/帝吧中针对某个关键字对其中的主题列表中的评论采集下来

 

之前使用java的jsoup搞过类似功能,使用php使用就找到了 phpQuery.

 

// 抓女神活动使用的数据
set_time_limit(0);

require_once 'ApiCommon.php';
require_once 'utils/phpQuery.class.php';
require_once 'utils/CB.class.php';
require_once 'utils/XmlExcelExport.class.php';

error_reporting( E_ALL & ~(E_STRICT | E_NOTICE | E_WARNING) );
ini_set('display_errors', 1);

//定义数据源
$source = array(
	'playgame' => array(
		'href' => 'http://www.douban.com/group/search?cat=1013&q=玩游戏',
		'kw' => '玩游戏',
		'filename' => 'playgame.xls',
		'function' => 'd_playgame',
	),
	'qijilanqiu' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球',
		'kw' => '奇迹篮球',
		'filename' => 'qijilanqiu.xls',
		'function' => 'd_di8',
	),
	'nvshenlianmeng' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=女神联盟',
		'kw' => '女神联盟',
		'filename' => 'nvshenlianmeng.xls',
		'function' => 'd_di8',
	),
	'maoxianqiyue' => array(
		'href' => 'http://tieba.baidu.com/f?ie=utf-8&kw=冒险契约',
		'kw' => '冒险契约',
		'filename' => 'maoxianqiyue.xls',
		'function' => 'd_di8',
	),
	
);

// --- 实际写

if ( empty($_GET['out']) )
{
	FuelCli::write("param `out` not set");
	exit;
}
$out = trim($_GET['out']);

if ( empty($source[ $out ]) )
{
	FuelCli::write("param `out` not valid: `{$out}`");
	exit;
}

$outfile = APPOUTBOX . '/' . $source[ $out ]['filename'];

$GLOBALS['_fpout'] = CoreFileOutput::instance($outfile);

FuelCli::write("create `_outbox/{$out}`");

$GLOBALS['_fpout']->text(XmlExcelExport::instance()->generateXMLHeader());

$GLOBALS['_fpout']->text( XmlExcelExport::instance()->worksheetStart( $source[ $out ]['kw'] ) );

//
//$GLOBALS['_fpout']->text(XmlExcelExport::instance()->setTableHeader( array(
//	'内容',
//)));


# 执行数据抓取方法
Core_Helper_Callback::getInstance()
	->set( $out , $source[ $out ]['function'])
	->call($out, array( $source[ $out ]['href'] ) );


$GLOBALS['_fpout']->text(XmlExcelExport::instance()->worksheetEnd());

$GLOBALS['_fpout']->text(XmlExcelExport::instance()->generateXMLFoot());

$GLOBALS['_fpout']->close();

$msg = sprintf("create success! time: %d, mem: %.4fM , File: `_outbox/%s`.", time() - APP_START_TIMESTAMP, (memory_get_usage()  / (1024*1024)) ,$out );

FuelCli::write($msg);

 

 

采集 豆瓣 没啥问题,很简单的取打开页面,例如:

// ## [玩游戏] 数据采集

function d_playgame( $url )
{
		
	# 通过分析页面规则得到,每页显示50条,可以通过参数 start=0 来控制
	
	phpQuery::newDocumentFileHTML($url,'utf-8');	
	
	// 在第一页中先求出共有多少页主题
	$firstPage = pq('div.paginator > span.thispage')->text();
	$endPage = pq('div.paginator > a:last')->text();
	
	if ( $endPage > 100 ) $endPage = 50;
	FuelCli::write( p_text("总页数: {$endPage}") );
	
	FuelCli::write( p_text( "处理第 `1` 页: " . $url ) );
	
	# 主题数组
	$topics = d_playgame_topics( pq('div.topics > table.olt') );
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	# 解析主题获取评论
	d_playgame_topics_parse( $topics );
		
	for ( $page=2;$page<=$endPage;$page++ )
	{
		# 暂停1秒,看是否能通过浏览器
		sleep(1);
		
		$start = ($page - 1) * 50;
		
		$purl = $url . '&start=' . $start;
		
		FuelCli::write( p_text( "处理第 `{$page}` 页: " . $purl ) );
		
		# 加载 页面
		phpQuery::newDocumentFileHTML( $purl ,'utf-8');		
		# 找到主题数组
		$topics = d_playgame_topics( pq('div.topics > table.olt') );
		phpQuery::$documents = array();# 释放内存,减少内存调用
		
		# 解析主题获取评论
		d_playgame_topics_parse( $topics );		
	}
	
}

/**
 * 解析 页面主题,返回对应的数组
 * 
 * @param phpQuery $doc
 * 
 * @return array
 */
function d_playgame_topics( $doc )
{
	$topics = array();
	
	foreach ( pq('tr.pl > td.td-subject > a',$doc) as $item )
	{
		$topics[ pq($item)->attr('href') ] = pq($item)->attr('title');
	}
	
	return $topics;
}

/**
 * 解析主题获取评论
 * 
 * @param array $topics
 * 
 * @return void
 */
function d_playgame_topics_parse( $topics )
{
	FuelCli::write( p_text( "主题数: " . count($topics) ) );
	
	$index = 0;
	foreach ( $topics as $href=>$topic )
	{
		$index ++;
		FuelCli::write( p_text( " -- {$index}: " . $href ) );
		
		# 对每个主题进行取评论
		d_playgame_topic_parse( $topic , $href );
		
		# 延迟 0.1 秒再进行请求
		usleep(100000);
	}

}

/**
 * 获取评论内容列表
 * 
 * @param string $topic
 * @param string $href
 * 
 * @return void
 */
function d_playgame_topic_parse( $topic , $href )
{		
	# 加载 页面
	phpQuery::newDocumentFileHTML( $href ,'utf-8');		
	# 提取评论项集合
	
	$index = 0;
	$comments = '';# 减少i/o写操作
	foreach ( pq('ul#comments > li.comment-item > div.reply-doc > p') as $item )
	{
		$comments .=  XmlExcelExport::instance()->parseRow( array( pq( $item )->text() ) );
		
		$index++;
	}
	$GLOBALS['_fpout']->text( $comments );
	
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	FuelCli::write( p_text( " --  -- 评论数: " . $index ) );
}

 

但是 采集帝吧的时候就出现问题了,帝吧使用的是GBK编码的,这就悲催了,

$url="http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球";
phpQuery::newDocumentFileHTML($url,'gbk');
$t = pq('title')->html();

echo mb_detect_encoding ($t);// result is : UTF-8
echo $t; // this is  乱码

 这就出现乱码了,仔细阅读其代码发现,貌似这大哥的第二个参数基本就是没有用的,很无奈的选择啊..

 

自己动手丰衣足食,色色只好自己上手了...

function d_di8_open( $url )
{
	$cnt = file_get_contents($url);
	return mb_convert_encoding($cnt ,"UTF-8","GBK");
}
$url="http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球";
phpQuery::newDocumentHTML( d_di8_open($url) );	
$t = pq('title')->html();

echo mb_detect_encoding ($t);// result is : UTF-8
echo $t; // this is right

 这样就正确了,所以 亲们使用 phpQuery 如果目标页面是 gbk或者其它非utf-8编码的,先进行内容抓取做转码吧,例如:

/**
 * 获取评论内容列表
 * 
 * @param string $topic
 * @param string $href
 * 
 * @return void
 */
function d_di8_topic_parse( $topic , $href )
{		
	# 加载 页面
	phpQuery::newDocumentHTML( d_di8_open($href) );		
	# 提取评论项集合
	$index = 0;
	$comments = '';# 减少i/o写操作
	foreach ( pq('div.p_content > cc > div.d_post_content') as $item )
	{
		// 因为帝吧使用的是GBK编码,故此处将其转成 utf-8编码
//		$text = p_text( pq( $item )->text() );
		$text = pq( $item )->text();
//		FuelCli::write( $text );	
		$comments .=  XmlExcelExport::instance()->parseRow( array( $text ) );
		
		$index++;
	}
	$GLOBALS['_fpout']->text( $comments );
	
	phpQuery::$documents = array();# 释放内存,减少内存调用
	
	FuelCli::write( p_text( " --  -- 评论数: " . $index ) );
}

 

输入如下:

写道
D:\phpeclipse\workspace\wyxcli>php crawl20130821.php out=qijilanqiu
create `_outbox/qijilanqiu`
总页数: 1
处理第 `1` 页: http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球
主题数: 50
-- 1: http://tieba.baidu.com/p/2534641226
-- -- 评论数: 6
-- 2: http://tieba.baidu.com/p/2527963747
-- -- 评论数: 2
-- 3: http://tieba.baidu.com/p/2529999511
-- -- 评论数: 7
-- 4: http://tieba.baidu.com/p/2553290615
-- -- 评论数: 5
-- 5: http://tieba.baidu.com/p/2527658421
-- -- 评论数: 4
-- 6: http://tieba.baidu.com/p/2442517157
-- -- 评论数: 3
-- 7: http://tieba.baidu.com/p/2552547772
-- -- 评论数: 5
-- 8: http://tieba.baidu.com/p/2551704915
-- -- 评论数: 3
-- 9: http://tieba.baidu.com/p/2546812394
-- -- 评论数: 4
-- 10: http://tieba.baidu.com/p/2551321130
-- -- 评论数: 2
-- 11: http://tieba.baidu.com/p/2548341950
-- -- 评论数: 4
-- 12: http://tieba.baidu.com/p/2519520372
-- -- 评论数: 11
-- 13: http://tieba.baidu.com/p/2545480033
-- -- 评论数: 4
-- 14: http://tieba.baidu.com/p/2546529051
-- -- 评论数: 3
-- 15: http://tieba.baidu.com/p/2535490334
-- -- 评论数: 14
-- 16: http://tieba.baidu.com/p/2517910085
-- -- 评论数: 13
-- 17: http://tieba.baidu.com/p/2529226727
-- -- 评论数: 2
-- 18: http://tieba.baidu.com/p/2544406437
-- -- 评论数: 7
-- 19: http://tieba.baidu.com/p/2539768377
-- -- 评论数: 4
-- 20: http://tieba.baidu.com/p/2534831859
-- -- 评论数: 2
-- 21: http://tieba.baidu.com/p/2537294810
-- -- 评论数: 3
-- 22: http://tieba.baidu.com/p/2542824941
-- -- 评论数: 2
-- 23: http://tieba.baidu.com/p/2541489544
-- -- 评论数: 7
-- 24: http://tieba.baidu.com/p/2540771551
-- -- 评论数: 8
-- 25: http://tieba.baidu.com/p/2539424700
-- -- 评论数: 4
-- 26: http://tieba.baidu.com/p/2540409043
-- -- 评论数: 4
-- 27: http://tieba.baidu.com/p/2539426813
-- -- 评论数: 5
-- 28: http://tieba.baidu.com/p/2539158959
-- -- 评论数: 4
-- 29: http://tieba.baidu.com/p/2538418239
-- -- 评论数: 5
-- 30: http://tieba.baidu.com/p/2539133118
-- -- 评论数: 2
-- 31: http://tieba.baidu.com/p/2536895475
-- -- 评论数: 2
-- 32: http://tieba.baidu.com/p/2539120530
-- -- 评论数: 4
-- 33: http://tieba.baidu.com/p/2538414986
-- -- 评论数: 2
-- 34: http://tieba.baidu.com/p/2536462810
-- -- 评论数: 6
-- 35: http://tieba.baidu.com/p/2534324575
-- -- 评论数: 4
-- 36: http://tieba.baidu.com/p/2524771361
-- -- 评论数: 8
-- 37: http://tieba.baidu.com/p/2532300903
-- -- 评论数: 20
-- 38: http://tieba.baidu.com/p/2528784304
-- -- 评论数: 8
-- 39: http://tieba.baidu.com/p/2528627411
-- -- 评论数: 4
-- 40: http://tieba.baidu.com/p/2532123359
-- -- 评论数: 7
-- 41: http://tieba.baidu.com/p/2529977911
-- -- 评论数: 5
-- 42: http://tieba.baidu.com/p/2533014180
-- -- 评论数: 5
-- 43: http://tieba.baidu.com/p/2529027118
-- -- 评论数: 5
-- 44: http://tieba.baidu.com/p/2527961913
-- -- 评论数: 2
-- 45: http://tieba.baidu.com/p/2519577941
-- -- 评论数: 9
-- 46: http://tieba.baidu.com/p/2532019472
-- -- 评论数: 1
-- 47: http://tieba.baidu.com/p/2531388657
-- -- 评论数: 15
-- 48: http://tieba.baidu.com/p/2531892898
-- -- 评论数: 1
-- 49: http://tieba.baidu.com/p/2520463405
-- -- 评论数: 3
-- 50: http://tieba.baidu.com/p/2525360009
-- -- 评论数: 3
create success! time: 19, mem: 1.4663M , File: `_outbox/qijilanqiu`.

D:\phpeclipse\workspace\wyxcli>php crawl20130821.php out=qijilanqiu
create `_outbox/qijilanqiu`
总页数: 尾页
处理第 `1` 页: http://tieba.baidu.com/f?ie=utf-8&kw=奇迹篮球
主题数: 50
-- 1: http://tieba.baidu.com/p/2534641226
-- -- 评论数: 6
-- 2: http://tieba.baidu.com/p/2527963747
-- -- 评论数: 2
-- 3: http://tieba.baidu.com/p/2529999511
-- -- 评论数: 7
-- 4: http://tieba.baidu.com/p/2553290615
-- -- 评论数: 5
-- 5: http://tieba.baidu.com/p/2527658421
-- -- 评论数: 4
-- 6: http://tieba.baidu.com/p/2442517157
-- -- 评论数: 3
-- 7: http://tieba.baidu.com/p/2552547772
-- -- 评论数: 5
-- 8: http://tieba.baidu.com/p/2551704915
-- -- 评论数: 3
-- 9: http://tieba.baidu.com/p/2546812394
-- -- 评论数: 4
-- 10: http://tieba.baidu.com/p/2551321130
-- -- 评论数: 2
-- 11: http://tieba.baidu.com/p/2548341950
-- -- 评论数: 4
-- 12: http://tieba.baidu.com/p/2519520372
-- -- 评论数: 11
-- 13: http://tieba.baidu.com/p/2545480033
-- -- 评论数: 4
-- 14: http://tieba.baidu.com/p/2546529051
-- -- 评论数: 3
-- 15: http://tieba.baidu.com/p/2535490334
-- -- 评论数: 14
-- 16: http://tieba.baidu.com/p/2517910085
-- -- 评论数: 13
-- 17: http://tieba.baidu.com/p/2529226727
-- -- 评论数: 2
-- 18: http://tieba.baidu.com/p/2544406437
-- -- 评论数: 7
-- 19: http://tieba.baidu.com/p/2539768377
-- -- 评论数: 4
-- 20: http://tieba.baidu.com/p/2534831859
-- -- 评论数: 2
-- 21: http://tieba.baidu.com/p/2537294810
-- -- 评论数: 3
-- 22: http://tieba.baidu.com/p/2542824941
-- -- 评论数: 2
-- 23: http://tieba.baidu.com/p/2541489544
-- -- 评论数: 7
-- 24: http://tieba.baidu.com/p/2540771551
-- -- 评论数: 8
-- 25: http://tieba.baidu.com/p/2539424700
-- -- 评论数: 4
-- 26: http://tieba.baidu.com/p/2540409043
-- -- 评论数: 4
-- 27: http://tieba.baidu.com/p/2539426813
-- -- 评论数: 5
-- 28: http://tieba.baidu.com/p/2539158959
-- -- 评论数: 4
-- 29: http://tieba.baidu.com/p/2538418239
-- -- 评论数: 5
-- 30: http://tieba.baidu.com/p/2539133118
-- -- 评论数: 2
-- 31: http://tieba.baidu.com/p/2536895475
-- -- 评论数: 2
-- 32: http://tieba.baidu.com/p/2539120530
-- -- 评论数: 4
-- 33: http://tieba.baidu.com/p/2538414986
-- -- 评论数: 2
-- 34: http://tieba.baidu.com/p/2536462810
-- -- 评论数: 6
-- 35: http://tieba.baidu.com/p/2534324575
-- -- 评论数: 4
-- 36: http://tieba.baidu.com/p/2524771361
-- -- 评论数: 8
-- 37: http://tieba.baidu.com/p/2532300903
-- -- 评论数: 20
-- 38: http://tieba.baidu.com/p/2528784304
-- -- 评论数: 8
-- 39: http://tieba.baidu.com/p/2528627411
-- -- 评论数: 4
-- 40: http://tieba.baidu.com/p/2532123359
-- -- 评论数: 7
-- 41: http://tieba.baidu.com/p/2529977911
-- -- 评论数: 5
-- 42: http://tieba.baidu.com/p/2533014180
-- -- 评论数: 5
-- 43: http://tieba.baidu.com/p/2529027118
-- -- 评论数: 5
-- 44: http://tieba.baidu.com/p/2527961913
-- -- 评论数: 2
-- 45: http://tieba.baidu.com/p/2519577941
-- -- 评论数: 9
-- 46: http://tieba.baidu.com/p/2532019472
-- -- 评论数: 1
-- 47: http://tieba.baidu.com/p/2531388657
-- -- 评论数: 15
-- 48: http://tieba.baidu.com/p/2531892898
-- -- 评论数: 1
-- 49: http://tieba.baidu.com/p/2520463405
-- -- 评论数: 3
-- 50: http://tieba.baidu.com/p/2525360009
-- -- 评论数: 3
create success! time: 19, mem: 1.4663M , File: `_outbox/qijilanqiu`.

 

 本着将坏事做绝的心态给官方提了个issue,

 http://code.google.com/p/phpquery/issues/detail?id=232&thanks=232&ts=1377515316

 

 

phpQuery乱码的终极解决方案 写道

phpQuery乱码的终极解决方案

phpQuery是一款JQuery的PHP实现，用来解析网页元素DOM非常的方便，头疼的是他总是有乱码问题。其实也不能全怪phpQuery。
因为phpQuery分析网页元素时候进行网页编码探测使用的是正则表达式进行页面meta标签的charset匹配。但是总是有那么多奇形怪状的网页，所以也难免会出错。
比如这个页面 他就没有meta标签，phpQuery在处理这个页面的时候(function loadMarkupHTML)，就会遵循如下流程

if(正则表达式匹配meta标签失败,即documentCharset变量空){
if(定义了requestedCharset,就是那个newDocumentFileHTML后面的charset参数){
charset = requestedCharset
}
if(charset还不能被定义，即requestedCharset为空){
charset = phpQuery::$defaultCharset
}
if(documentCharset变量空){
根据HTTP 1.1的要求 设置默认documentCharset为ISO-8859-1
需要在后面补足标准的meta标记
}
}
if (requestedCharset && documentCharset && requestedCharset !== documentCharset){
如果存在mb_detect_encoding的话,进行编码转换
possibleCharsets = array(documentCharset, requestedCharset, 'AUTO')
docEncoding = mb_detect_encoding(markup, implode(', ', possibleCharsets));
if(检测不出docEncoding){
已documentCharset为准
}
if(docEncoding这个检测编码和requestedCharset不一样){
使用mb_convert_encoding进行编码转换
}

}
其余略

这里面有个问题,那就是mb_detect_encoding检测的编码不一定是准确的，大部分情况下，在ISO-8859-1优先的情况下(documentCharset排在前面)，他都认为该文档是ISO-8859-1，从而出现乱码。
所以，如果你这里定义了phpQuery::$defaultCharset，就可以避免这种情况的发生，这样的话 采集淘宝网首页 只要指定phpQuery::$defaultCharset=GBK，就不会乱码。
第二个问题是一个BUG，在phpQuery的大概273行（phpQuery 0.9.5 (r386; one file release) ）

$markup = $this->charsetFixHTML($markup);
1

$markup = $this->charsetFixHTML($markup);

这个BUG会导致中文wordpress博客，比如我这个博客，虽然有规范的meta标签 但是会被错误的charsetFixHTML。破坏了DOM结构，导致解析乱码。该BUG到Revision 393依旧没修复。 这个不注释的话，采集我的博客就会乱码.

所以 这里有我的一个修补版本，有兴趣的可以下了试试。phpQuery-onefile-ipatched|Dropbox|
由于PHPQuery是精确采集，所以你之前基本知道了网页的编码，那么只要指定了phpQuery::$defaultCharset，不管是有没有meta的页面或者meta不规范的页面，基本上都不会乱码。

规范的HTML页面演示

<?php //规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; //phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://page14.auctions.yahoo.co.jp/jp/auction/s237346475'); echo pq('title')->text(); echo pq("strong[property='auction:Price'])")->text(); ?>
1
2
3
4
5
6
7
8
9
10

<?php
//规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
//phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://page14.auctions.yahoo.co.jp/jp/auction/s237346475');
echo pq('title')->text();
echo pq("strong[property='auction:Price'])")->text();
?>

不规范的页面演示

<?php //不规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://storeuser11.auctions.yahoo.co.jp/jp/user/makototakahashi0316?alocale=0jp&mode=0&u=makototakahashi0316'); $trs = pq('#list01')->find('table tr:not(:first)'); foreach($trs as $tr){ $line = pq($tr)->find('td:first a'); $title = $line->text(); if($title){ $url = $line->attr('href'); echo $title.'---->'.$url.'<br />'; } } ?>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

<?php
//不规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://storeuser11.auctions.yahoo.co.jp/jp/user/makototakahashi0316?alocale=0jp&mode=0&u=makototakahashi0316');
$trs = pq('#list01')->find('table tr:not(:first)');
foreach($trs as $tr){
$line = pq($tr)->find('td:first a');
$title = $line->text();
if($title){
$url = $line->attr('href');
echo $title.'---->'.$url.'<br />';
}
}
?>

<?php //规范meta演示 header("Content-type: text/html; charset=utf-8"); set_time_limit(0); include 'phpQuery-onefile-ipatched.php'; //phpQuery::$defaultCharset = 'euc-jp'; phpQuery::newDocumentFileHTML('http://ihipop.info'); echo pq("title")->text(); //不规范meta演示 phpQuery::$defaultCharset = 'GBK'; phpQuery::newDocumentFileHTML('http://taobao.com'); echo pq("title")->text(); ?>
1
2
3
4
5
6
7
8
9
10
11
12
13

<?php
//规范meta演示
header("Content-type: text/html; charset=utf-8");
set_time_limit(0);
include 'phpQuery-onefile-ipatched.php';
//phpQuery::$defaultCharset = 'euc-jp';
phpQuery::newDocumentFileHTML('http://ihipop.info');
echo pq("title")->text();
//不规范meta演示
phpQuery::$defaultCharset = 'GBK';
phpQuery::newDocumentFileHTML('http://taobao.com');
echo pq("title")->text();
?>

注意 1.phpQuery的输出全部是UTF-8编码的.
2.phpQuery主页http://code.google.com/p/phpquery/

phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。如果不想让自己的内存被额沾满，每次解析完一个网页，把phpQuery::$documents置空
phpQuery::$documents = array();
1

phpQuery::$documents = array();

或者清空不必要的ID，节省内存。同理，你也可以有选择的保留一些ID 见http://code.google.com/p/phpquery/wiki/MultiDocumentSupport

Author Info :
From:phpQuery乱码的终极解决方案
URL:http://blog.ihipop.info/2011/08/2647.html
Please Reserve This Link,Thanks!

 

 

 

 

 

 

 

 

 

 

许一沐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
php实现文章置顶功能的方法
10-21
在PHP开发中，文章置顶功能是一个常见的需求，它允许管理员或特定用户将特定的文章设置为置顶状态，使其在列表中优先展示。本篇文章将详细介绍如何使用PHP实现这一功能，包括数据库设计、前端模板修改以及后端逻辑...
折磨半个月终于找到php脚本所谓的“内存泄露”原因！
热门推荐
雪峰流云
07-27 3万+
最近项目改版做2期，1期是我写的，当然2期也由我主要负责，我借鉴了同事和网上的多种可取方法，在性能上做了较大提升。 项目是一个后台网页爬取程序，使用php开发，基于DOMDocument+Xpath+curl多线程异步，同时少量网页使用phpQuery处理，正则表达式提取等等，处理数据的结构写入MySQL。在批量爬取处理过程中，内存占用很平稳，比如开300线程同时爬取html网页，做Dom+xp
phpQuery占用过多内存的解决方法
cychai的专栏
01-15 1897
phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。 相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。 在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)， 比如这段代码： while (true) {
拿帝吧检测bug の phpQuery 捉虫记
过客阵营 -- 简单的就要最简单
08-26 393
今天有个专题需求,摘取豆瓣/帝吧中针对某个关键字对其中的主题列表中的评论采集下来   之前使用java的jsoup搞过类似功能,使用php使用就找到了 phpQuery.   // 抓女神活动使用的数据 set_time_limit(0); require_once 'ApiCommon.php'; require_once 'utils/phpQuery.class.php...
phpQuery的用法
weixin_33915554的博客
06-17 514
2019独角兽企业重金招聘Python工程师标准>>> ...
phpQuery中文手册（更新中）
Rocky.Zhao的笔记
03-10 1万+
目前网上phpQuery的中文文档比较少，并且官方文档在谷歌上，特别整理了一些常用的phpQuery方法，供大家查阅以及新手学习。 以下资料均来自官方文档，官方文档地址：https://code.google.com/archive/p/phpquery/wikis 基础 示例 phpQuery::newDocumentFileXHTML('my-xhtml.html')->find('p
判断、添加和删除WordPress置顶文章的相关PHP函数小结
10-23
在WordPress中，对文章进行置顶操作是一种常见的方式，它可以让特定的文章在列表中优先显示，以便用户更容易注意到。在本文中，我们将深入探讨如何使用PHP函数来判断、添加和删除WordPress的置顶文章。 首先，我们...
THINKSNS 微博置顶插件源代码
03-18
安装说明：(详见下载文档内的安装说明) 1.将WeiboTop文件夹放到/addons/plugins/下 2.修改apps/home/Tpl/...进入后台-插件-待安装插件-微博置顶，进行插件安装。 5.安装后可以进行微博置顶管理，只填写微博ID则无
phpQuery占用内存过多的处理方法
10-26
本文解决phpQuery占用内存过多的问题
simple_html_dom使用不当导致的内存泄漏
dabao1989的专栏
11-24 1335
转自:http://wbean.3sbstudio.com/?p=77 今天用simple_html_dom写一个简单的网页爬虫（php5.2.3），运行很慢，并且很快超出默认的8m内存，后面把内存改成memory_limit = 128M才运行成功。这显然不满足我的要求。然后我用memory_get_usage()函数在每次循环结尾输出一下所用内存，循环每执行一次，内存上涨1m多，最后60次循
phpquery中文手册
lxw1844912514的博客
12-25 2894
【简介】phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容。更有意思的是，它采用了jQuery的思想，使得可以像使用jQuery一样处理页面内容，获取想要的页面信息。【步骤】1.引入phpquery类库下载连接点击下载include 'phpQuery/phpQuery.php'; 12加载需要获取内容的网页连接或则文档加载文档主要通过...
PhpQuery PHP操作HTML类，PHP操作XML类，PHP操作Dom类
Rock的专栏
06-06 3813
PHP操作HTML类，PHP操作XML类，PHP操作Dom类 PHP操作Dom类,PHP操作XML类，,PHP操作HTML类 一个不错的类 PhpQuery PhpQuery用法 php require('phpQuery/phpQuery.php'); // INITIALIZE IT //
使用phpquery采集小说
腾飞的鱼
07-10 1万+
使用phpquery采集小说 说明 phpQuery是基于php5新添加的DOMDocument。而DOMDocument则是专门用来处理html/xml。它提供了强大xpath选 择器及其他很多html/xml操作函数，使得处理html/xml起来非常方便步骤先获取小说的列表页的a标签的链接 进入详情页获取标题和内容 输出txt到浏览器 代码地址 代码<?php /** * Created
QueryList 4.0 简洁、优雅、可扩展的PHP采集工具(爬虫)
weixin_34404393的博客
09-30 1062
QueryList 简介 QueryList是一套简洁、优雅、可扩展的PHP采集工具(爬虫)，基于phpQuery。 特性 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有通用的列表采集方案 拥有强大的HTTP请求套件，轻松实现如：模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请...
phpQuery,采集网页像jQuery一样顺畅丝滑。
weixin_33936401的博客
08-15 182
前言   平时开发中可能遇到一个问题。采集网页，小偷程序等等。各种花式秀正则的话，虽然能体现出geek，但是我觉得做事却不够优雅。采集到的网页说白了也是DOM，jQuery各种优雅地获取节点。幸好，有这个类库，帮我们解决了这个，那就是phpQuery. 为什么使用phpQuery phpQuery是基于php5新添加的DOMDocume...
使用phpQuery轻松采集网页内容
天下无敌庞成勇
06-21 804
phpQuery是一个基于PHP的服务端开源项目，它可以让PHP开发人员轻松处理DOM文档内容，比如获取某新闻网站的头条信息。更有意思的是，它采用了jQuery的思想，你可以像使用jQuery一样处理页面内容，获取你想要的页面信息。采集头条 先看一实例，现在我要采集新浪网国内新闻的头条，代码如下：include 'phpQuery/phpQuery.php'; phpQuery::newDocu
python爬虫微博热搜过滤置顶
最新发布
10-10
您可以使用Python进行微博热搜的爬取，并在爬取结果中过滤掉置顶内容。下面是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup # 发送请求，获取页面内容 url = 'https://weibo.com/top/summary?cate=realtimehot' response = requests.get(url) html = response.text # 解析页面内容 soup = BeautifulSoup(html, 'html.parser') items = soup.select('.td-02') # 遍历热搜条目，过滤掉置顶内容 for item in items: # 获取热搜标题和热度 title = item.select_one('a').text heat = item.select_one('.star_num').text # 过滤掉置顶内容 if '置顶' not in heat: print(f'热搜标题：{title}，热度：{heat}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值