一个小工具可以更快的写爬虫

你好,我是 somenzz,我想你应该写过爬虫吧,就是那个 requests 库,它太好用了,应该没有人不知道 requests。

通常我们使用谷歌浏览器的开发者工具(F12)查找网络请求,然后将网络请求里面的 url、headers、cookie、user-agent、请求的参数等等,记录下来,然后,用 requests 模拟浏览器发出的请求。

这些简单无脑复制操作,让我觉得写爬虫真的累,有没有一个工具,可以直接把这个请求转化为 Python 代码?

还真有!

那就是 curlconverter[1]

dd62c1150c2d3735efdb528f8dd04584.png

用法很简单:

b2c6aac154e779ed01c85c22ed9c2a1c.png

以谷歌浏览器为例:

1、在「开发者工具」中打开「Network」选项卡

2、右键单击(或按住 Ctrl 键单击)请求

3、点击 "Copy" → "Copy as cURL"

4、将其粘贴到上面的 curl 命令框中

选择需要转换语言(默认就是 Python),就可以复制代码了,非常方便:

65673d25ee257c361d8fb45f157e8eb8.png

最后的话

这个工具真是相见恨晚,可以大大节省你写爬虫花费的时间,请记住网址是:https://curlconverter.com/如果觉得有帮助,请点在看扩散,如果有好的工具,也可以留言分享。

8330a4cdaa0c91dc8ffa730bb5933327.png

参考资料

[1]

curlconverter: https://curlconverter.com/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值