weixin_44505713的博客

背景 本文将以雪球网为例，教你快速爬取你要的数据。不论是不懂爬虫的python玩家、还是刚入坑爬虫新人，下面这方法都可大大提升一些简单爬虫的开发效率。大佬就见笑了。 另，如下方法，仅对无过多反爬机制的网页有效。 流程 1、进入你想要爬取的网页，找个空白的地方，右键->“检查”。然后如下面流程，找到我们需要的接口。一般来说，像这种网页类似于Excel结构的数据，一般都是采用动态加载，可使用此方法。 2、选择需要的接口，如下图，copy as cURL。 3、可以粘贴到Terminal中看看（红框部分