python 爬虫报错：Invalid keyword arguments {‘headers‘: XXX, ‘encoding‘: ‘utf-8‘} 已解决

最新推荐文章于 2023-10-14 22:00:57 发布

不知名程序媛

最新推荐文章于 2023-10-14 22:00:57 发布

阅读量1.2k

点赞数

文章标签： PyQuery 爬虫错误修复链接改版网页抓取

本文链接：https://blog.csdn.net/weixin_44606217/article/details/115696439

版权

利用pyquery编写的爬虫突然报错：

Invalid keyword arguments {'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)......'}, 'encoding': 'utf-8'}

尝试补全headers：无用，报错的信息随着headers的变化而变化，总为 Invalid keyword arguments {'headers': XXX, 'encoding': 'utf-8'}，

且其他利用pyquery爬虫的程序可正常运行。

利用print一步一步排查发现，bug为抓取页面的文章链接改版，重新编写爬虫即可。

举个例子：

原来的文章链接列表：

<li><a target="_blank" href="http://blog.eastmoney.com/fengyu1234/blog_1023530625.html">XXX</a></li>
<li><a target="_blank" href="http://blog.eastmoney.com/m4929094142218208/blog_1023527825.html">XXX</a></li>
<li><a target="_blank" href="http://blog.eastmoney.com/m3602094136829916/blog_1023526449.html">XXX</a></li>

现在的文章链接列表：

<li><a target="_blank" href="/fengyu1234/blog_1023530625.html">XXX</a></li>
<li><a target="_blank" href="/m4929094142218208/blog_1023527825.html">XXX</a></li>
<li><a target="_blank" href="/m3602094136829916/blog_1023526449.html">XXX</a></li>

解决bug的方式：拼接下文章链接即可解决。