上一篇文章写了如何在Laravel中使用simple_html_dom爬取文章,在实际使用中遇到了一个问题。
问题
在使用innertext获取正文内容时,\n 标签被自动删除,尤其是获取pre中code,爬过来文章一片混乱。
解决方案
首先确定原文中确实是存在\n标签的,然后我看了一下 file_get_html 的源码。
在 file_get_html 的源码调用中,有一个$stripRN参数,默认$stripRN=true,是用来控制是否删除 \n 标签的,把这个参数的默认值改成 false ,问题解决。
部分源码:function file_get_html($url, $use_include_path = false, $context=null, $offset = -1, $maxLen=-1, $lowercase = true, $forceTagsClosed=true, $target_charset = DEFAULT_TARGET_CHARSET, $stripRN=false, $defaultBRText=DEFAULT_BR_TEXT, $defaultSpanText=DEFAULT_SPAN_TEXT)
{
// We DO force the tags to be terminated.
$dom = new simple_html_dom(null, $lowercase, $forceTagsClosed, $target_charset, $stripRN, $defaultBRText, $defaultSpanText);