目的:输入“剑网三”,浏览器搜索结果如图,我想要返回这个https://jx3.xoyo.com
初步完成代码:参照 python 必应搜索教程_获取bingurl地址中的参数-CSDN博客 和如何扩展关键词,以及使用python多线程爬取bing搜索结果_python爬取bing的搜索结果-CSDN博客
这两行报错我自己看着改了一下:
# data['title'] = i.find('div',class_ = 'b_title').find('h2').text
# data['url'] = i.find('div',class_ = 'b_title').find('h2').find('a')['href']
data['title'] = i.find('h2').text
data['url'] = i.find('h2').find('a')['href']
但是呢!我把代码里的cn.bing.com改成了www.bing.com,当时还没想到这一改将会耗去我一个上午的时间......
查了很多资料,有的人贴出来爬完的url就是这样的,也确实没见到相近情形下、返回了我想要形式的url的截图,心里凉凉的。
最后排查了一圈下来发现是www.bing.com搞出来就会是这个样子,但是换成cn.bing.com就好了。
结果如图:完美解决~