python爬取bing搜索结果的网页url

目的:输入“剑网三”,浏览器搜索结果如图,我想要返回这个https://jx3.xoyo.com

初步完成代码:参照 python 必应搜索教程_获取bingurl地址中的参数-CSDN博客 和如何扩展关键词,以及使用python多线程爬取bing搜索结果_python爬取bing的搜索结果-CSDN博客
这两行报错我自己看着改了一下:

# data['title'] = i.find('div',class_ = 'b_title').find('h2').text
# data['url'] = i.find('div',class_ = 'b_title').find('h2').find('a')['href']
data['title'] = i.find('h2').text
data['url'] = i.find('h2').find('a')['href']

但是呢!我把代码里的cn.bing.com改成了www.bing.com,当时还没想到这一改将会耗去我一个上午的时间......

遇到问题:得到的网页url是这么个形式:https://www.bing.com/ck/a?!&&p=9596db0d4068e8c6JmltdHM9MTcyMDA1MTIwMCZpZ3VpZD0yMmE0NWRmYS1mNWU0LTY1OTgtMzkzNC00OTQ5ZjRmODY0MWImaW5zaWQ9NTQxMw&ptn=3&ver=2&hsh=3&fclid=22a45dfa-f5e4-6598-3934-4949f4f8641b&psq=%e5%89%91%e7%bd%91%e4%b8%89&u=a1aHR0cHM6Ly9qeDMueG95by5jb20vaW5kZXgv&ntb=1

查了很多资料,有的人贴出来爬完的url就是这样的,也确实没见到相近情形下、返回了我想要形式的url的截图,心里凉凉的。

最后排查了一圈下来发现是www.bing.com搞出来就会是这个样子,但是换成cn.bing.com就好了。

结果如图:完美解决~

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值