实习内容改进

最新推荐文章于 2024-08-28 14:26:16 发布

kikyohhmy

最新推荐文章于 2024-08-28 14:26:16 发布

阅读量73

点赞数

文章标签：爬虫

本文链接：https://blog.csdn.net/kikyohhmy/article/details/120872072

版权

这篇博客探讨了如何使用XML类型的可视化爬虫抓取网页信息，尤其是在遇到解析异常时如何通过代码爬虫进行补救。文章指出，爬取的叶子节点信息应尽可能全面，并分享了网络异常处理和网址调整的经验。同时，提到了详情页模板的共用策略，以提高效率。

摘要由CSDN通过智能技术生成

1.详情页类似共用一套模板，配一个模板就可以

2.xml类型的可视化爬虫也支持解析异常需要代码爬虫来拼接

3.爬取的叶子节点信息要尽量全面

4.网络异常已经解决，重新配置叶子节点

5.404改网址中的index改为index1

新闻来源: //td[@class='hui']//p[contains(text(),"发布机构")]/../following-sibling::td/text()

发布时间: //td[@class='hui']//p[contains(text(),"生成日期")]/../following-sibling::td[1]/text()

<tr>
	<td class="hui"><p>发文字号</p></td>
	<td><!--发文日期开始--><!--发文日期结束--></td>
	<td class="hui"><p>发布机构</p></td>
	<td><!--机构开始-->其他<!--机构结束--></td>
	</tr>
	<tr>
	<td class="hui"><p>生成日期</p></td>
	<td><!--生成日期开始-->2021年09月17日<!--生成日期结束--></td>
	<td class="hui"><p><span style="display:inline-block;margin-right:31px">体</span>裁</p></td>
	<td><!--体裁开始-->公示<!--题材结束--></td>
	</tr>
	<tr>
	<td class="hui"><p>实施日期</p></td>
	<td><!--实施日期--><!--实施日期结束--></td>
	<td class="hui"><p>废止日期</p></td>
	<td><!--废止日期开始--><!--废止日期结束--></td>

关注