lingxian55的博客

入门级爬虫本实战使用python 3.6版本 首先找到目标网站 新浪的NBA数据库 然后点开奇才就出现奇才所以球员的基本信息： 我的想法是先在第一个页面获得所以球队的url，再根据球队获得所以球员的基本信息 有思路就立马动手于是在浏览器中默默的按了F12，开始调试，右键奇才 发现url的规律”team.php?id=×× “并多打开了几个其他队的发现也是这样的 找到规律于是立马动手代

介绍一下爬虫用的比较多的两个框架pyspider和scrapy 以下是剽窃某乎一答主的回答 自认为讲的比较好： 作者：trucy 链接：https://www.zhihu.com/question/37686665/answer/128811396 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Pyspiders是国内某大神开

爬取https://www.autoblog.com/used-list 这个页面的车辆信息，这是第一页，后面页的url如下添加：urls=['https://www.autoblog.com/used-list']for i in range(2,110): urls.append('https://www.autoblog.com/used-list/page-%d'%(i))我