实战项目之-scrapy框架爬取链家网数据

最新推荐文章于 2024-09-24 23:49:56 发布

spring_rain_csdn

最新推荐文章于 2024-09-24 23:49:56 发布

阅读量894

点赞数

分类专栏： ❤️Spider进阶之路

本文链接：https://blog.csdn.net/spring_rain_csdn/article/details/89715572

版权

这是一个使用Scrapy框架进行的小项目，爬取了链家网的100页数据。获取的数据包括房源信息，仅展示了spider页面，仅供学习交流，不应用于商业目的。

摘要由CSDN通过智能技术生成

只是闲来无事的时候做的这么一个小项目,只爬取了100页数据,获取到的数据,如下图所示:

仅展示一下spider页面:

# -*- coding: utf-8 -*-
import scrapy

class LianjiaSpider(scrapy.Spider):
    name = 'lianjia'
    allowed_domains = ['lianjia.com']
    #初始url
    start_urls = ['https://bj.lianjia.com/ershoufang/pg1']
    
    def parse(self, response):
        # with open('lianjia.html','wb')as f:
        #     f.write(response.body)
        #匹配所有的li标签
        li_cards = response.xpath('//li[@class="clear LOGCLICKDATA"]')
        #遍历每一条li标签
        for i in li_cards:
            item = {}
            item['title'] = i.xpath('./div/div/a/text()').extract_first()