抓百度下拉框内容

百度???你要干嘛

朋友总是有很多奇怪的需求,这次他想要百度搜索智能提示的内容,就是这个

提示内容

至于他要干吗用,这个并没有太多去问,只是一时兴起,决定白嫖百度一下
开门见山的说,白嫖不好,如果大家有能力还是去购买相应的接口,等我有钱了就买百度云在抓数据😊

如何做

朋友给了我一个非常机智的方法

0. 打开电脑,打开浏览器
1. 让程序模拟用户操作,在浏览器的输入框中输入预存的词组
2. 截取当前浏览器的显示截图
3. 程序识别图中内容
4. 将内容保存到本地

至此完成一次操作,后续就是无限循环的抓取动作

我的想法就比较简单粗暴了,因为数据不可能缓存在本地,所以每次输入内容,百度一定会回服务器抓取的,
于是我打开浏览器,控制台监控浏览器的请求,发现了一些频率较高的重复Get请求,打开一看,哎嘿……这是啥

查找接口

整理下思路

众所周知,百度引擎会爬各种网站的数据,所以爬虫对他们来说那是相当的熟悉,所以肯定会限制我们爬取他们
那么首要任务就是要测试这些Get请求是否有限制,最简单的方法直接PostMan测试一下,修改各种参数,头信息,
如果能够正常返回,剩下就是我们如何处理这些数据了

postman

扬帆启航

0. 查找接口
1. 首先PostMan测试接口情况
2. 整理数据
3. 编写脚本
4. 运行测试
5. 简单压测

压测

  • 结果五根线程110词在2秒完成 ……666
  • 最后附赠GO语言测试代码地址
  • csdn:https://download.csdn.net/download/at555444/15118651
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiao4-800k

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值