weixin_36232887的博客

原创 scrapy爬虫框架抓取北京链家二手房100页信息，先抓列表页，再抓详情页，入坑必看~

磕磕绊绊，爬了很多次，尝试了很多次，翻阅了很多前辈的文章，在摸索中终于实现了，接下来我将详细记录我的思路，以及详细的代码，截止目前2020年7月18日，是可以正常爬取的，接下来请听我唠叨喽~ 基于python的scrapy框架完成的本项目，想要跑通首先呢你得安装好python环境，搭建python环境，在本文章就不做详细描述，直接入手吧！ 安装scrapy框架，一般你网速还好就可以直接安装成功！ pip install scrapy 明确一下我们的需求： 爬取链家北京二手房前100页数据 .