利用scrapy爬取58同城租房信息

最新推荐文章于 2024-07-12 17:04:59 发布

majiexiong

最新推荐文章于 2024-07-12 17:04:59 发布

阅读量2.5k

点赞数

分类专栏：学习博客 python

本文链接：https://blog.csdn.net/majiexiong/article/details/82108114

版权

本文详细介绍了如何使用Python的Scrapy框架爬取58同城上的租房信息，包括`tc.py`爬虫文件的设置，定义`items.py`来存储数据结构，以及配置`pipelines.py`进行数据处理和存储。

摘要由CSDN通过智能技术生成

tc.py 代码

# -*- coding: utf-8 -*-
import scrapy
from ..items import TcItem

class Tc58Spider(scrapy.Spider):
    name = 'tc'
    allowed_domains = ['bj.58.com']
    start_urls = ['http://bj.58.com/chuzu/pn1/?PGTID=0d3090a7-0000-1fd7-9c9a-3a83d8c87059&ClickID=2']
    #http://bj.58.com/chuzu/pn5/?PGTID=0d3090a7-0000-1fd7-9c9a-3a83d8c87059&ClickID=2
    def parse(self, response):
        for i in range(2,10):
            next_url = 'http://bj.58.com/chuzu/pn{}/?PGTID=0d3090a7-0000-1fd7-9c9a-3a83d8c87059&ClickID=2'.format(i)
            yield scrapy.Request(next_url, callback=self.parse_xq)
    def parse_xq(self, response):
        # with open('58tongcheng.html','wb') as f:
        #     f.write(response.body)
        #/html/body/div[4]/div[1]/div[5]/div[2]/ul/li[1]/div[2]/h2/a
        item=TcItem()
        titles = response.x