利用pyquery编写的爬虫突然报错:
Invalid keyword arguments {'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)......'}, 'encoding': 'utf-8'}
尝试补全headers:无用,报错的信息随着headers的变化而变化,总为 Invalid keyword arguments {'headers': XXX, 'encoding': 'utf-8'},
且其他利用pyquery爬虫的程序可正常运行。
利用print一步一步排查发现,bug为抓取页面的文章链接改版,重新编写爬虫即可。
举个例子:
原来的文章链接列表:
<li><a target="_blank" href="http://blog.eastmoney.com/fengyu1234/blog_1023530625.html">XXX</a></li>
<li><a target="_blank" href="http://blog.eastmoney.com/m4929094142218208/blog_1023527825.html">XXX</a></li>
<li><a target="_blank" href="http://blog.eastmoney.com/m3602094136829916/blog_1023526449.html">XXX</a></li>
现在的文章链接列表:
<li><a target="_blank" href="/fengyu1234/blog_1023530625.html">XXX</a></li>
<li><a target="_blank" href="/m4929094142218208/blog_1023527825.html">XXX</a></li>
<li><a target="_blank" href="/m3602094136829916/blog_1023526449.html">XXX</a></li>
解决bug的方式:拼接下文章链接即可解决。