1.确定目标网址
目标网址：
确定我需要的数据
获取的数据量大，用到Scrapy框架
2. 我们就分析目标网址。
1）利用抓包，分析到一些包的路径。
每次下一页时，就会加载出新的包。这个链接网页是这样滴。
这个url地址很长，又找啊，终于找到个短一点的。
感觉这个也长我们就修改一下。第一页的url地址就有了，其它也只需用range()函数就能获取到他2
本文介绍了如何使用Scrapy框架进行多线程爬取大规模数据。首先确定目标网址和所需数据，通过分析网址结构找到数据源。在抓包过程中，发现并修改了较短的URL，从而能够生成所有页面的URL。为了避免因访问频次过高导致的IP封锁，设置了0.5秒的访问间隔。最后，使用XPath解析数据，并以CSV格式保存结果，完成爬虫的编写。
最低0.47元/天 解锁文章
787
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
