rust官方封禁ip_一个小时多点，完成scrapy爬取官方网站新房的数据，50块到手

最新推荐文章于 2024-08-29 08:30:29 发布

楚雄南

最新推荐文章于 2024-08-29 08:30:29 发布

阅读量631

点赞数

文章标签： rust官方封禁ip

本文链接：https://blog.csdn.net/weixin_36036925/article/details/112422336

版权

本文记录了一位作者为完成大学作业，使用Scrapy爬虫框架抓取链家北京新房数据的过程。从分析网页、新建项目、设置请求头、定义Item、调试爬虫到保存数据到JSON文件，整个过程大约耗时一小时。虽然最后代码被公开，但成功完成了任务。

摘要由CSDN通过智能技术生成

@Author：BY Runsen

前言

在前几天，接到一个大学生的作业的爬虫单子，要求采用scrapy爬取链家官方网站新房的数据(3-5页即可，太多可能被封禁ip)，网址：https://bj.fang.lianjia.com/loupan/，将楼盘名称、价格、平米数等(可以拓展)数据保存到一个json文件中。

为了50块钱，废话不说就是开干。虽说我不是计算机的，还是一个屌丝大三化工学生。

分析网页

那么今天教大家用Scarpy爬取链家网，爬取网页如下：http://bj.fang.lianjia.com/loupan/。

点击其中的一个来看看，https://bj.fang.lianjia.com/loupan/p_zjtfbkrhf/?fb_expo_id=303816048586158080

新建项目

新建项目和爬虫文件这些太简单，都是老套路， pass了。新建的项目如下。

加请求头

第一步，傻逼都知道加请求头。

在setting.py加MY_USER_AGENT

MY_USER_AGENT = [    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko,