不写一行,自动生成爬虫代码

从今天开始,开一个专栏,编程每日一问,如其名,旨在分享探讨编程中那些实用的技巧或知识,多短小精悍。

今天的话题是,如果不写一行代码,完成一份最小可运行性的爬虫代码。

直接举 com 微博评论爬虫这个例子,打开下面这个网网址

https://weibo.com/1192329374/Knsnj9B3D

按照以下步骤来

  • 在 Network 栏目 Filter 处输入 ’build’ 过滤请求,找到评论获取的那个接口

  • 在接口上右键,Copy --> Copy as cURL(bash);(curl 是利用 URL
    语法在命令行方式下工作的开源文件传输工具。它被广泛应用在 Unix、多种 Linux 发行版中,并且有 DOS 和 Win32、Win64
    下的移植版本。)

    然后打开下面这个至关重要的网站(一定要收藏)

https://curl.trillworks.com/

如下图所示

在这里插入图片描述

  • 选择 Python 语言,把刚才复制的 curl cmd 粘贴到左边框里,右边框就自动生成 Python 代码了。把这个代码复制到新建的
    py 文件中,可以直接运行,它完成了数据的最小抓取工作,后续再进行解析即可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月小水长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值