链家二手房信息抓取

最新推荐文章于 2020-11-05 00:34:23 发布

Ai_践行者

最新推荐文章于 2020-11-05 00:34:23 发布

阅读量391

点赞数

分类专栏：爬虫文章标签： scrapy

本文链接：https://blog.csdn.net/qq_41424519/article/details/89202960

版权

本文介绍了一个使用Scrapy框架爬取链家网站二手房信息的实践过程，包括spider的设置、配置（settings）以及数据处理流水线（pipeline）的编写，从启动（start）到完成整个爬取任务的详细步骤。

摘要由CSDN通过智能技术生成

spider如下：

# -*- coding: utf-8 -*-
import scrapy


class LianjiaSpider(scrapy.Spider):
    name = 'lianjia'
    allowed_domains = ['lianjia.com']
    start_urls = ['https://bj.lianjia.com/ershoufang/pg{}/'.format(num) for num in range(1,101)]

    def parse(self, response):
        hrefs=response.xpath('//div[@class="info clear"]/div[@class="title"]/a/@href').extract()
        for href in hrefs:
            yield scrapy.FormRequest(href,callback=self.parse_info)
    def parse_info(self,response):
        #print(response.text)

        price=response.xpath('//span[@class="total"]/text()').extract_first()
        unitPrice=response.xpath('//span[@class="unitPriceValue"]/text()').extract_first()
        hu_xing=response.xpath('//div[@class="houseInfo"]/div[@class="room"]/