scrapy实战

已于 2024-08-10 17:08:00 修改
阅读量879 收藏 18
点赞数 8
文章标签： scrapy mongodb mysql 正则表达式
于 2024-08-10 17:00:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62714412/article/details/141036711
版权

免责声明

        本文的爬虫知识仅用于合法和合理的数据收集，使用者需遵守相关法律法规及目标网站的爬取规则，尊重数据隐私，合理设置访问频率，不得用于非法目的或侵犯他人权益。因使用网络爬虫产生的任何法律纠纷或损失，由使用者自行承担风险和责任。

1、Scrapy保存数据到数据库

概述：下面通过一个完整的案例让大家了解Scrapy如何将数据保存到不同的数据库。

1.1、获取数据

1.1.1.创建项目和爬虫文件

1.1.2.编写爬虫文件

import scrapy
import json

class SsqSpider(scrapy.Spider):
    name = "ssq"
    allowed_domains = ["gov.cn"]
    start_urls = ["https://www.cwl.gov.cn/cwl_admin/front/cwlkj/search/kjxx/findDrawNotice?name=ssq&pageNo=1&pageSize=30&systemType=PC"]

    def parse(self, response):
        datas = json.loads(response.text)
        # 获取所有的数据列表
        for data in datas.get("result"):
            # 期号 红球 蓝球
            print(data.get("code"),'===',data.get("red"),'===',data.get("blue"))

1.1.3、修改配置文件

# 添加请求头
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
    'scrapy_fake_useragent.middleware.RetryUserAgentMiddleware': 401,
}

# 配置 UserAgent 类型
FAKEUSERAGENT_PROVIDERS = [
    'scrapy_fake_useragent.providers.FakeUserAgentProvider',  # 第一选择
    'scrapy_fake_useragent.providers.FakerProvider',  # 第二选择
    'scrapy_fake_useragent.providers.FixedUserAgentProvider',  # 第三选择
]

# 关闭爬虫规则
# ROBOTSTXT_OBEY = True

1.1.3、创建并编辑启动脚本

在scrapy09项目下创建启动脚本begin：

from scrapy.cmdline import execute
execute(["scrapy","crawl","ssq"])

运行启动脚本，结果如下：

1.2、将数据保存到mongo

概述：将前面获取到的数据返回给引擎，引擎再交给pipeline，pipeline再将获取的数据保存到指定数据库中。

1.2.1、修改爬虫文件

import scrapy
import json

class SsqSpider(scrapy.Spider):
    name = "ssq"
    allowed_domains = ["gov.cn"]
    start_urls = ["https://www.cwl.gov.cn/cwl_admin/front/cwlkj/search/kjxx/findDrawNotice?name=ssq&pageNo=1&pageSize=30&systemType=PC"]

    def parse(self, response):
        datas = json.loads(response.text)
        # 获取所有的数据列表
        for data in datas.get("result"):
            # 将获取的数据传递给引擎
            yield {
                "code":data.get("code"), # 期号
                "red":data.get("red"), # 红球
                "blue":data.get("blue") # 蓝球
            }

1.2.2、修改Pipeline文件

import pymongo

class MongoPipeline:
    def open_spider(self):
        # 获取客户端链接
        self.client = pymongo.MongoClient()
        # 通过客户端获取数据库实例,再通过数据库实例获取指定的集合
        self.ssq = self.client.myssq_data.ssq

    def process_item(self, item, spider):
        # 将引擎传过来的数据写入mongo数据库
        self.ssq.insert_one(item)
        return item

    def close_spider(self):
        self.client.close()

1.2.3、编辑配置文件

# 主要是开启ITEM_PIPELINES,注意将pipeline修改成自己的pipeline名称
ITEM_PIPELINES = {
   "scrapy09.pipelines.MongoPipeline": 300,
}

1.2.4、运行爬虫文件

注意：运行前一定要提前开启mongo，否则Pycharm将无法连接到mongo。

运行启动脚本后，通过图形管理工具Robo  3T查看mongo数据库中的数据如下，由此可知已将获取的数据正确的保存到了mongo数据库中：

1.3、将数据保存到MySql

注意：以下操作都是在1.2的基础上进行，如果跳过了上面的内容无法实现的可以查看是否少了上面的某些操作。

1.3.1、操作前准备

首先下载pymysql(在终端中运行如下代码)：

pip install pymysql

然后去自己的mysql数据库创建一个名为ssq的数据库，并进入ssq数据库创建一个名为ssq_table的表，以下是ssq_table的表结构(以上名字都是可以改的，只是修改后代码也许做出对应的调整)：

1.3.2、编写Pipeline文件

概述：在1.1小节中就以及将数据获取了，本节只需编写Pipeline文件将数据存储到mysql即可。

import pymysql
class MysqlPipeline:
    # 创建链接
    def open_spider(self,spider):
        # 获取客户端连接(要提前在mysql中创建一个名为ssq的数据库)
        self.client = pymysql.connect(host="localhost",port=3306,user="root",password="123456",db="ssq",charset="utf8")
        # 获取游标对象
        self.cursor = self.client.cursor()

    def process_item(self, item, spider):
        # 向表中插入数据的sql语句(ssq_table这个表也要提前创建)
        sql = "insert into ssq_table (id,code,red,blue) values (0,%s,%s,%s)"
        # 对应sql中要传入的参数
        args = (item['code'],item['red'],item['blue'])
        # 执行sql语句
        self.cursor.execute(sql,args)
        # 由于修改了数据,需要提交数据后才能生效
        self.client.commit()
        return item

    # 关闭链接
    def close_spider(self):
        # 关闭游标对象
        self.cursor.close()
        # 关闭客户端连接
        self.client.close()

1.3.3、编辑配置文件

ITEM_PIPELINES = {
    # "scrapy09.pipelines.MongoPipeline": 300,
    "scrapy09.pipelines.MysqlPipeline": 300,
}

1.3.4、运行脚本文件

运行启动脚本后，我是通过Navicat查看数据库内容的，后面我扩大了获取的范围(用我之前给的爬虫文件照样能拿到数据，不用担心这里)，所以我的数据会多一点，具体数据如下：

1.4、将数据保存到多个数据库

1.4.1、所有数据同时保存到不同的数据库

概述：在前面的章节中，我们都是将数据保存到单一的数据库中，那么能否将所有的数据保存到不同的数据库中呢？当然是可以实现的，下面的代码是对上面章节的修改：

在上面的代码中，我们已经准备好了两个Pipeline(这里没做修改)：

import pymongo

class MongoPipeline:
    def open_spider(self,spider):
        # 获取客户端链接
        self.client = pymongo.MongoClient()
        # 通过客户端获取数据库实例,再通过数据库实例获取指定的集合
        self.ssq = self.client.myssq_data.ssq

    def process_item(self, item, spider):
        # 将引擎传过来的数据写入mongo数据库
        self.ssq.insert_one(item)
        return item

    def close_spider(self):
        self.client.close()

import pymysql
class MysqlPipeline:
    # 创建链接
    def open_spider(self,spider):
        # 获取客户端连接(要提前在mysql中创建一个名为ssq的数据库)
        self.client = pymysql.connect(host="localhost",port=3306,user="root",password="123456",db="ssq",charset="utf8")
        # 获取游标对象
        self.cursor = self.client.cursor()

    def process_item(self, item, spider):
        # 向表中插入数据的sql语句(ssq_table这个表也要提前创建)
        sql = "insert into ssq_table (id,code,red,blue) values (0,%s,%s,%s)"
        # 对应sql中要传入的参数
        args = (item['code'],item['red'],item['blue'])
        # 执行sql语句
        self.cursor.execute(sql,args)
        # 由于修改了数据,需要提交数据后才能生效
        self.client.commit()
        return item

    # 关闭链接
    def close_spider(self):
        # 关闭游标对象
        self.cursor.close()
        # 关闭客户端连接
        self.client.close()

并且在1.1小节中已经获取了所需数据，所以只需在前面的基础上对配置文件做出修改即可：

ITEM_PIPELINES = {
    # 这里演示优先将数据保存到Mongo数据库中
    "scrapy09.pipelines.MongoPipeline": 300,
    "scrapy09.pipelines.MysqlPipeline": 301,
}

1.4.2、保存指定爬虫文件的数据到不同数据库

概述：在实际生产环境中，大概率同时有多个爬虫文件在运行，难免就会出现不同的爬虫文件要将数据保存到不同的数据库中，下面模拟如果我们的scrapy项目中有多个爬虫文件，如何实现ssq.py这个爬虫文件的数据保存到mongo数据库中(主要是修改Mongo的Pipeline)：

import pymongo

class MongoPipeline:
    def open_spider(self,spider):
        # 获取客户端链接
        self.client = pymongo.MongoClient()
        # 通过客户端获取数据库实例,再通过数据库实例获取指定的集合
        self.ssq = self.client.myssq_data.ssq

    def process_item(self, item, spider):
        if spider.name == "ssq":
            # 将引擎传过来的数据写入mongo数据库
            self.ssq.insert_one(item)
        return item

    def close_spider(self):
        self.client.close()

提示：在学习过程中可能会有同学说既然这里对文件做了判断，如果不是指定名称的文件能不能在后面加上 elif 或 else 使其保存到指定的数据库中呢？这种做法当然是能够实现的，但是不推荐这样操作，因为这样操作后会增加程序的耦合性，建议不同的数据库有不同的Pipeline，就像我们前面学习的那样，Mysql和Mongo都有属于自己的Pipeline。

总结：在Scrapy项目中，同时开启多个爬虫和Pipeline时，可以通过spider.name来区分使用哪个pipeline。

知识点补充：部分同学可能会疑问return item有什么作用，其实return item的作用就是让数据(item)进入到下一个Pipeline。

1.4.3、保存指定值的数据到指定数据库

下面模拟code为2024091的数据保存到mongo数据库中，其它数据保存到Mysql中(首先需要修改mongo的Pipeline)：

import pymongo

class MongoPipeline:
    def open_spider(self,spider):
        # 获取客户端链接
        self.client = pymongo.MongoClient()
        # 通过客户端获取数据库实例,再通过数据库实例获取指定的集合
        self.ssq = self.client.myssq_data.ssq

    def process_item(self, item, spider):
        if item.get("code") == "2024091":
            # 将引擎传过来的数据写入mongo数据库
            self.ssq.insert_one(item)
        return item

    def close_spider(self):
        self.client.close()

但是在上一小节1.4.2的知识点补充中就有提到，return item会将数据传递到下一个Pipeline（即使数据已经保存到指定数据库中，仍然会传递到下一个Pipeline中），因此还需要对其它Pipeline做出判断，如果发现code为2024091的值就不要保存了：

import pymysql
from scrapy.exceptions import DropItem
class MysqlPipeline:
    # 创建链接
    def open_spider(self,spider):
        # 获取客户端连接(要提前在mysql中创建一个名为ssq的数据库)
        self.client = pymysql.connect(host="localhost",port=3306,user="root",password="123456",db="ssq",charset="utf8")
        # 获取游标对象
        self.cursor = self.client.cursor()

    def process_item(self, item, spider):
        if item.get("code") == "2024091":
            raise DropItem("2024091只能保存到mongo数据库中")
        # 向表中插入数据的sql语句(ssq_table这个表也要提前创建)
        sql = "insert into ssq_table (id,code,red,blue) values (0,%s,%s,%s)"
        # 对应sql中要传入的参数
        args = (item['code'],item['red'],item['blue'])
        # 执行sql语句
        self.cursor.execute(sql,args)
        # 由于修改了数据,需要提交数据后才能生效
        self.client.commit()
        return item

    # 关闭链接
    def close_spider(self):
        # 关闭游标对象
        self.cursor.close()
        # 关闭客户端连接
        self.client.close()

运行结果如下(运行前最好情况之前获取的数据，这样结果更加直观)：

mongo数据如下：

Mysql数据如下：

总结：DropItem()表示该数据不再保存，某个数据被DropItem()后，该数据将不会进入下一个Pipeline。

2、Scrapy实战

2.1、数据提取

需求： 获取某家的二手房数据，要求包含房屋基本信息与详情。

2.1.1、创建项目和爬虫文件

2.1.2、编写爬虫文件

import scrapy
import re

class LianjiaSpider(scrapy.Spider):
    name = "lianjia"
    allowed_domains = ["lianjia.com"]
    start_urls = ["https://bj.lianjia.com/ershoufang/pa1/"]

    def parse(self, response):
        """
        解析页面列表
        """
        # 获取页面中所有详情页的链接
        all_room_link = response.xpath('//div[@class="title"]/a/@href').getall()
        # 请求每一个链接并交由parse_room函数处理
        for room_link in all_room_link:
            yield scrapy.Request(url=room_link,callback=self.parse_room)

    def parse_room(self,response):
        """
        解析详细数据
        """
        # 价格
        price = response.xpath('//span[@class="total"]/text()').get()
        # price = response.xpath('//div[@class="price-container"]/div[@class="price"]/span[@class="total"]').get() + response.xpath('//div[@class="price-container"]/div[@class="price"]/span[@class="unit"]').get()
        # 小区名称
        house_name = response.xpath('//div[@class="communityName"]/a[1]/text()').get()
        # 区域名称
        area_name = response.xpath('//div[@class="areaName"]/span[@class="info"]/a/text()').get()

        # 基本信息
        # 房屋户型
        huxing1 = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[1]').get()).group(1)

        # 楼层
        louceng = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[2]').get()).group(1)
        # 面积
        mianji = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[3]').get()).group(1)
        # 户型结构
        huxing2 = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[4]').get()).group(1)
        # 朝向
        direction = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[7]').get()).group(1)
        # 装修情况
        zhuangxiu = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[9]').get()).group(1)
        # 梯户
        tihu = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[10]').get()).group(1)
        # 供暖
        nuanqi = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[11]').get()).group(1)
        # 是否有电梯
        dianti = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[12]').get()).group(1)

        # 交易信息
        # 交易权属
        quanshu = response.xpath('//div[@class="transaction"]/div/ul/li[2]/span[2]/text()').get()
        # 房屋用途
        yongtu = response.xpath('//div[@class="transaction"]/div/ul/li[4]/span[2]/text()').get()

2.1.3、编辑配置文件

# 不遵守爬虫规则
# ROBOTSTXT_OBEY = True

# 设置UserAgent
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
    'scrapy_fake_useragent.middleware.RetryUserAgentMiddleware': 401,
}

# 配置 UserAgent 类型
FAKEUSERAGENT_PROVIDERS = [
    'scrapy_fake_useragent.providers.FakeUserAgentProvider',  # 第一选择
    'scrapy_fake_useragent.providers.FakerProvider',  # 第二选择
    'scrapy_fake_useragent.providers.FixedUserAgentProvider',  # 第三选择
]

# 设置延时(降低服务器压力,不影响目标网站正常运行)
DOWNLOAD_DELAY = 5

# 如果设置了以上内容还是被拦截可以设置请求头

2.1.4、创建并编写启动脚本

具体内容如下：

from scrapy.cmdline import execute
execute(["scrapy","crawl","lianjia"])

2.1.5、测试程序

概述：上面的程序主要用于获取一页的所有详情页的具体内容，测试程序最高效的办法就是通过调试程序实现，避免多次请求对目标服务器造成压力，能正确的拿到数据就算成功。

2.2、优化爬虫程序

2.2.1、简化公共代码

概述：在parse_room函数中的获取基本信息部分的代码通过xpath获取数据时存在很多公共代码，下面演示简化操作：

简化前：

# 基本信息
# 房屋户型 
huxing1 = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[1]').get()).group(1)

# 楼层
louceng = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[2]').get()).group(1)
# 面积
mianji = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[3]').get()).group(1)
# 户型结构
huxing2 = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[4]').get()).group(1)
# 朝向
direction = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[7]').get()).group(1)
# 装修情况
zhuangxiu = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[9]').get()).group(1)
# 梯户
tihu = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[10]').get()).group(1)
# 供暖
 nuanqi = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[11]').get()).group(1)
# 是否有电梯
dianti = re.search("</span>(.*)\\n",response.xpath('//div[@class="base"]/div[@class="content"]/ul/li[12]').get()).group(1)

简化后：

# 基本信息
# 公共部分
base = response.xpath('//div[@class="base"]/div[@class="content"]/ul')

# 房屋户型  //div[@class="content"]/ul/li[1]/text()
huxing1 = re.search("</span>(.*)\\n",base.xpath('.li[1]').get()).group(1)

# 楼层
louceng = re.search("</span>(.*)\\n",base.xpath('./li[2]').get()).group(1)
# 面积
mianji = re.search("</span>(.*)\\n",base.xpath('./li[3]').get()).group(1)
# 户型结构
huxing2 = re.search("</span>(.*)\\n",base.xpath('./li[4]').get()).group(1)
# 朝向
direction = re.search("</span>(.*)\\n",base.xpath('./li[7]').get()).group(1)
# 装修情况
zhuangxiu = re.search("</span>(.*)\\n",base.xpath('./li[9]').get()).group(1)
# 梯户
tihu = re.search("</span>(.*)\\n",base.xpath('./li[10]').get()).group(1)
# 供暖
nuanqi = re.search("</span>(.*)\\n",base.xpath('./li[11]').get()).group(1)
# 是否有电梯
dianti = re.search("</span>(.*)\\n",base.xpath('./li[12]').get()).group(1)

2.2.2、获取多页数据

概述：在前面的代码中我们只获取一页中所有的详情页，下面尝试从广度优先和深度优先的角度获取多页数据。

广度优先：这种方式会先获取所有的页面链接，以获取100页数据为例，想要拿到详情数据需要等到第101次请求，所以只作为参考，本项目不使用。

# 广度优先(优先获取每一页的链接,然后再从每一页的链接获取每一页中详情页的链接)
start_urls = [f"https://bj.lianjia.com/ershoufang/pa{i}/" for i in range(1,101)]

深度优先：该方式获取到一页的链接后会直接去拿详情页链接，然后再去拿下一页链接，以此类推，除修改类属性外还需修改parse()函数。

class LianjiaSpider(scrapy.Spider):
    name = "lianjia"
    allowed_domains = ["lianjia.com"]
    # 广度优先(优先获取每一页的链接,然后再从每一页的链接获取每一页中详情页的链接)
    # start_urls = [f"https://bj.lianjia.com/ershoufang/pa{i}/" for i in range(1,101)]
    # 深度优先(获取到一页的链接后，直接获取这一页的详情页链接，然后再去获取下一页链接...)
    page = 1
    start_urls = [f"https://bj.lianjia.com/ershoufang/pa{page}/"]


    def parse(self, response):
        """
        解析页面列表
        """
        # 获取页面中所有详情页的链接
        all_room_link = response.xpath('//div[@class="title"]/a/@href').getall()
        # 请求每一个链接并交由parse_room函数处理
        for room_link in all_room_link:
            # 返回每一个详情页的链接交给parse_room函数处理
            yield scrapy.Request(url=room_link,callback=self.parse_room)
        # 当一页页面的详情页链接都解析完并交给parse_room函数后,立即请求下一页的链接并提取详情页链接
        self.page += 1
        yield scrapy.Request(url = f"https://bj.lianjia.com/ershoufang/pa{self.page}/")

2.3、保存数据

2.3.1、将数据传递给Pipeline

概述：首先将数据返回给ItemPipeline处理，由于数据量较大，推荐将要返回的数据粘贴到一个空文件中，然后用Ctrl+R使用正则做替换：

然后手动对无用的信息做清理，很快就获取到所有要返回的信息：

yield {
            # 价格
            'price': price,
            # 小区名称
            'house_name': house_name,
            # 区域名称
            'area_name': area_name,
            # 基本信息
            # 户型
            'huxing1': huxing1,
            # 楼层
            'louceng': louceng,
            # 面积
            'mianji': mianji,
            # 户型结构
            'huxing2': huxing2,
            # 朝向
            'direction': direction,
            # 装修情况
            'zhuangxiu': zhuangxiu,
            # 梯户
            'tihu': tihu,
            # 供暖
            'nuanqi': nuanqi,
            # 是否有电梯
            'dianti': dianti,

            # 交易信息
            # 交易权属
            'quanshu': quanshu,
            # 房屋用途
            'yongtu': yongtu,
        }

2.3.2、编辑Pipeline

概述：接下来编辑Pipeline文件，将获取到的数据保存到mongo数据库中(为避免出错，建议提取打开mongo的启动脚本)：

import pymongo

class MongoPipeline:
    def open_spider(self,spider):
        # 获取mongoDB链接
        self.client = pymongo.MongoClient()
        # 通过mongoDB链接找到(没有会自动创建)数据库实例room，然后用数据库实例找到集合lianjia,最后将该集合赋值给self.lianjia
        self.lianjia = self.client.room.lianjia

    def process_item(self, item, spider):
        # 将爬虫文件传过来的数据存入mongoDB
        self.lianjia.insert_one(item)
        return item

    def close_spider(self,spider):
        # 关闭mongoDB
        self.client.close()

2.3.3、编辑配置文件

概述：这里主要是打开ItemPipeline，并将值替换成自己的Pipeline的名称。

ITEM_PIPELINES = {
   "scrapy10.pipelines.MongoPipeline": 300,
}

2.3.4、运行脚本并查看数据库

概述：运行启动脚本之前一定要开启mongo，否则Pipeline无法获取到mongoDB的链接。

运行后的mongo数据库内容如下(该网站目前有反爬措施，获取部分数据后不绕过反爬就会被重定向到首页，需要通过学习反反爬后破解)：

完整爬虫文件如下：

import scrapy
import re

class LianjiaSpider(scrapy.Spider):
    name = "lianjia"
    allowed_domains = ["lianjia.com","ke.com"]
    # 广度优先(优先获取每一页的链接,然后再从每一页的链接获取每一页中详情页的链接)
    # start_urls = [f"https://bj.lianjia.com/ershoufang/pa{i}/" for i in range(1,101)]
    # 深度优先(获取到一页的链接后，直接获取这一页的详情页链接，然后再去获取下一页链接...)
    page = 1
    start_urls = [f"https://bj.lianjia.com/ershoufang/pa{page}/"]

    def parse(self, response):
        """
        解析页面列表
        """
        # 获取页面中所有详情页的链接
        all_room_link = response.xpath('//div[@class="title"]/a/@href').getall()
        # 请求每一个链接并交由parse_room函数处理
        for room_link in all_room_link:
            # 返回每一个详情页的链接交给parse_room函数处理
            yield scrapy.Request(url=room_link,callback=self.parse_room)
        if self.page<=60:
            # 当一页页面的详情页链接都解析完并交给parse_room函数后,立即请求下一页的链接
            self.page += 1
            yield scrapy.Request(url=f"https://bj.lianjia.com/ershoufang/pa{self.page}/",callback=self.parse)

    def parse_room(self,response):
        """
        解析详细数据
        """
        if response.url.__contains__('https://bj.lianjia.com/ershoufang/'):
            # 价格
            price = response.xpath('//span[@class="total"]/text()').get()
            # price = response.xpath('//div[@class="price-container"]/div[@class="price"]/span[@class="total"]').get() + response.xpath('//div[@class="price-container"]/div[@class="price"]/span[@class="unit"]').get()
            # 小区名称
            house_name = response.xpath('//div[@class="communityName"]/a[1]/text()').get()
            # 区域名称
            area_name = response.xpath('//div[@class="areaName"]/span[@class="info"]/a/text()').get()

            # 基本信息
            # 公共部分
            base = response.xpath('//div[@class="base"]/div[@class="content"]/ul')
            # 房屋户型  //div[@class="content"]/ul/li[1]/text()
            huxing1 = re.search("</span>(.*)\\n",base.xpath('./li[1]').get()).group(1)

            # 楼层
            louceng = re.search("</span>(.*)\\n",base.xpath('./li[2]').get()).group(1)
            # 面积
            mianji = re.search("</span>(.*)\\n",base.xpath('./li[3]').get()).group(1)
            # 户型结构
            huxing2 = re.search("</span>(.*)\\n",base.xpath('./li[4]').get()).group(1)
            # 朝向
            direction = re.search("</span>(.*)\\n",base.xpath('./li[7]').get()).group(1)
            # 装修情况
            zhuangxiu = re.search("</span>(.*)\\n",base.xpath('./li[9]').get()).group(1)
            # 梯户
            tihu = re.search("</span>(.*)\\n",base.xpath('./li[10]').get()).group(1)
            # 供暖
            nuanqi = re.search("</span>(.*)\\n",base.xpath('./li[11]').get()).group(1)
            # 是否有电梯
            dianti = re.search("</span>(.*)\\n",base.xpath('./li[12]').get()).group(1)

            # 交易信息
            # 交易权属
            quanshu = response.xpath('//div[@class="transaction"]/div/ul/li[2]/span[2]/text()').get()
            # 房屋用途
            yongtu = response.xpath('//div[@class="transaction"]/div/ul/li[4]/span[2]/text()').get()

            yield {
                # 价格
                'price': price,
                # 小区名称
                'house_name': house_name,
                # 区域名称
                'area_name': area_name,
                # 基本信息
                # 户型
                'huxing1': huxing1,
                # 楼层
                'louceng': louceng,
                # 面积
                'mianji': mianji,
                # 户型结构
                'huxing2': huxing2,
                # 朝向
                'direction': direction,
                # 装修情况
                'zhuangxiu': zhuangxiu,
                # 梯户
                'tihu': tihu,
                # 供暖
                'nuanqi': nuanqi,
                # 是否有电梯
                'dianti': dianti,

                # 交易信息
                # 交易权属
                'quanshu': quanshu,
                # 房屋用途
                'yongtu': yongtu,
            }

沐曦可期
关注
  • 8
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Scrapy实战项目合集
05-21
本合集主要围绕Scrapy实战项目展开，帮助用户深入理解和应用Scrapy。 在Scrapy项目中，首先需要创建一个工程，通过`scrapy startproject project_name`命令即可生成基础结构。这个命令会创建一个包含多个目录和文件...
Python爬虫框架Scrapy实战之批量抓取招聘信息
01-21
Scrapy是纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～  Scrapy 使用wisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种...
Python Scrapy 实战
leone的博客
09-25 2016
Python Scrapy 什么是爬虫？ 网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 Python 爬虫 在爬虫领域，Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫等，并针对Scrapy框架源码进行深入...
Scrapy爬虫框架实战
学而思(xiejava的blog)
09-12 3138
Python实现爬虫是很容易的，一般来说就是获取目标网站的页面，对目标页面的分析、解析、识别，提取有用的信息，然后该入库的入库，该下载的下载。以前写过一篇文章《Python爬虫获取电子书资源实战》，以一个电子书的网站为例来实现python爬虫获取电子书资源。爬取整站的电子书资源，按目录保存到本地，并形成索引文件方便查找。这次介绍通过Scrapy爬虫框架来实现同样的功能。
scrapy爬虫实战
shizuguilai的博客
01-12 1942
Scrapy 是一个强大的开源网络爬虫框架，用于从网站上提取数据。它以可扩展性和灵活性为特点，被广泛应用于数据挖掘、信息处理和历史数据抓取等领域。官网链接（外）
scrapy框架实战
weixin_56382303的博客
05-14 1364
👨‍💻更多精彩尽在博主首页：i新木优子👀 🎉欢迎关注🔍点赞👍收藏⭐留言📝 🧚‍♂️寄语:当你将信心放在自己身上时，你将永远充满力量👣 ✨有任何疑问欢迎评论探讨 什么是全站数据crawling呢，顾名思义就是将一个网站的全部数据都crawling下来，这里我采用scrapy框架，这里我提供了很多方式，可以挑选自己喜欢的玩一玩 接下来有请我们的幸运儿：不能说的网站名，我怕不过审🚗 0️⃣1️⃣创建scrapy项目 scrapy startproject 文件名 cd 文件名 scrapy gensp.
18.网络爬虫—Scrapy实战演示
Oona_01的博客
03-22 848
可以在Scrapy Shell中测试爬虫：使用Scrapy Shell，您可以测试和调试Web爬虫，以确保其能够正确提取所需的数据。支持调用各种Python函数和库：在Scrapy Shell中，您可以轻松调用各种Python函数和库，以进一步处理所提取的数据。👉👉本专栏所有文章是博主学习笔记，仅供学习使用，爬虫只是一种技术，希望学习过的人能正确使用它。
scrapy 实战操作
weixin_30912051的博客
07-07 56
Date: 2019-07-07 Author: Sun 1. Pycharm调试scrapy代码流程 ​ 由于Pycharm本身是没有自带scrapy代码包的，所以正常情况是不好调试scrapy代码的，那我们想要学习scrapy，调试scrapy时，会怎么处理呢？ ​ 本节给你带来处理方法： 本节以建立爬取 http://books.toscrape.com/ 网站为例 （1）创建scr...
Scrapy实战
a2488220557的博客
02-27 351
3.然后需要再次发送请求，第二个网址。这里会用到回调函数。5.在Pipelines中会请求，图片的url然后，保存它。2.然后，得到的里面有.exe结尾的广告。然后用 Split分割，得到最后一个，作为名字。这个得到的数据就是，图片的url。然后字典返回数据到，管道。Spider中的思路。
【Python】【进阶篇】二十七、Python爬虫的Scrapy实战应用
deepboat的博客
04-22 898
【Python】【进阶篇】二十七、Python爬虫的Scrapy实战应用
Scrapy实战（笔趣阁）
weixin_51885096的博客
06-03 680
今天学习Scrapy框架，完成笔趣阁小说的爬取。1.掌握Scrapy框架的基本架构；2.深入学习xpath并进行训练；3.通过pipelines将数据存储到MySQL数据库。
分布式爬虫scrapy实战.rar
10-25
作业一：使用Scrapy爬虫框架，爬取网上信息并保存到文件中；分别读取爬取的数据创建ndarray、Series与DataFrame。 作业二：作业一结果的ndarray，进行数据的截取和排序操作。 作业三：作业一结果的Series，进行截取...
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
【Python Scrapy 框架爬取京东商城进阶篇】 在Python的Web爬虫领域，Scrapy是一个功能强大的框架，常被用于高效地爬取和处理网站数据。本篇文章将深入探讨如何使用Scrapy爬取京东商城的商品信息，特别关注动态加载...
使用MongoDB构建AI：Story Tools Studio将生成式AI引入Myth Maker AI游戏
最新发布
MongoDBChina的博客
08-15 927
Story Tools Studio使用MongoDB构建AI 技术，利用其动态灵活的文档数据模型、丰富的结构对象形式、无缝的自动拓展能力等优势，赋予开发者自由发挥的空间，协同生成多元多模态的游戏体验。
【赵渝强老师】部署MongoDB复制集
赵渝强老师CSDN博客主页
08-14 492
在了解到了MongoDB复制集的体系架构以后，下面将通过具体的步骤来演示如何搭建单个节点的MongoDB复制集环境。提示：MongoDB复制集经过选举后，27017的节点被选举成了主库，而27018和27019的节点成为了从库。提示：在默认情况下，MongoDB复制集的从库是不可用的，需要手动启用从库。这说明MongoDB复制集正在执行选举的操作，此时的三个节点都是从库。（9）创建复制集的配置信息，将各个节点添加到复制集配置信息中。提示：在MongoDB复制集的环境中从库是只读的状态。
MongoDB学习笔记
张矜持的博客
08-14 868
MongoDB是一个文档数据库（以 JSON 为数据模型），由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，数据格式是BSON，一种类似JSON的二进制形式的存储格式，简称Binary JSON ，和JSON一样支持内嵌的文档对象和数组对象，因此可以存储比较复杂的数据类型。
mongoDB轨迹保存和查询
风中凌乱的专栏
08-14 507
Document(collection = "trajectoryPoint") //类似于@Table标签，用于指明数据库表名/集合名。TrajectoryPointServiceImpl对象。TrajectoryPointService对象。/** sim卡号_轨迹时间 *//** 轨迹对象json *///定义一个根据时间查询方法。TrajectoryPoint对象。//定义一个查询方法。//定义一个保存方法。//定义一个删除方法。
Spring Boot 使用 MongoDB 教程
码海浮生，一个乐于分享的全栈工程师！
08-14 1083
Spring Boot 使用 MongoDB 教程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沐曦可期

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值