scrapy 爬虫框架及链家租房信息爬取示例

scrapy爬虫框架

1.scrapy安装

• Windows 系统安装

pip install scrapy

• Linux 系统安装

yum -y install scrapy
vim .bashrc
alias scrapy="home/user1/python3/bin/scrapy"
source .bashrc
#分布执行上述命令

2.创建scrapy 项目爬取链家租房

• 打开创建项目的目录，点击shfit 键，鼠标右击，打开在此处打开命名窗口

scrapy startprojects 项目名称

• 在pycharm 中打开刚刚创建的项目

• items.py 设置要获取的字段

• middlewares 设置响应头、代理ip 等

• piplines 数据存储

• 创建爬虫文件

 cd spiders

scrapy genspider lianjiazufang https://sh.lianjia.com/zufang/

• 运行scrapy项目

方法一，terminal中直接运行

scrapy crawl lianjiazufang

方法二，创建main.py ,运行main脚本即可

from scrapy import cmdline
cmdline.execute("scrapy crawl lianjiazufang".split())

• 链接爬虫项目具体内容

整体框架

lianjiazufang.py

import scrapy
from lianjia.items import LianjiaItem
import re

class LianjiazufangSpider(scrapy.Spider):
    name = 'lianjiazufang'
    allowed_domains = ['sh.lianjia.com']
    start_urls = ['https://sh.lianjia.com/zufang/pg1/']

    def parse(self, response):
        name_item_list = response.xpath('//div[@class="content__list--item"]')
        print(response.request.headers)
        for name_item in name_item_list:
            info={
   }
            #租房标题
            info["content_title"] = name_item.xpath('.//div/p/a/text()').extract_first().strip()
            #租房url
            info["content_url"] = "https://sh.lianjia.com"+name_item.xpath('.//div/p/a/@href').extract_first()
            #使用yield 来发送异步请求
            #使用的是scrapy.Request 发送请求的
            #回调函数，只写方法的名称&#x