scrapy学习（scrapy项目学习）

scrapy

一个开源和协作框架，用于从网站中提取您需要的数据。

环境说明：
采集数据的地址为：采集网站
Python版本：3.7.5
mysql数据库版本：8.0.27
pymysql版本 ：1.0.3
scapy版本：2.9.0

创建scrapy项目

创建爬虫项目

scrapy startproject ss1_miove

创建爬虫文件（）

命令格式：scrapy genspider <爬虫名称> <网站域名>

scrapy genspider ss1_scrapy ssr1.scrape.center

scrapy框架的组成

spider文件夹：里面存放爬虫文件，用来定义爬虫文件
items文件：定义框架内的数据传输格式
Pipelines文件:数据保护模块
Minddlewwares:中间件模块
settings文件：框架配置模块

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fnU1MSuW-1687664182665)(…/AppData/Roaming/Typora/typora-user-images/image-20230618090031123.png)]

scrapy框架 —爬虫文件

生成Python文件后scrapy会给你一个默认的爬虫模板

生成爬虫文件的命令：scrapy genspider <爬虫名称> <网站域名>

import scrapy


class Ss1ScrapySpider(scrapy.Spider):
    name = "ss1_scrapy"
    allowed_domains = ["ssr1.scrape.center"]
    start_urls = ["https://ssr1.scrape.center"]

    def parse(self, response):
        pass

属性	说明
pares（）方法	默认获取start_urls的解析方法
name	爬虫的名字
allowed_domains	能抓取网站的范围
start_urls	指定开始的url网站(可以指定多个url)

下面我们要对爬虫文件进行修改以达到对我们的采集需求

import re

import scrapy
from ssr1.ss1_miove.ss1_miove.items import Ss1MioveItem


class Ss1ScrapySpider(scrapy.Spider):
    name = "ss1_scrapy"
    allowed_domains = ["ssr1.scrape.center"]
    start_urls = ["https://ssr1.scrape.center"]

    def parse(self, response):
        movie_list = response.xpath('//*[@id="index"]/div[1]/div[1]/div')
        item = Ss1MioveItem()
        for movie in movie_list:
            # 获取电影网页中的名称
            movie_name = movie.xpath('./div/div/div[2]/a/h2/text()').extract_first()
            name = movie_name
            # 获取上映时间
            movie_dates = movie.xpath('./div/div/div[2]/div[3]/span/text()').extract_first()
            if movie_dates is None:
                movie_date = '0-0-0'
            else:
                movie_date = movie_dates[:-3]
            print(movie_date)
            # 获取电影时长
            movie_times = movie.xpath('./div/div/div[2]/div[2]/span[3]/text()').extract_first()
            # 获取电影评分
            movie_scores = movie.xpath('./div/div/div[3]/p[1]/text()').extract_first()
            # 上映地点
            movie_adds = movie.xpath('./div/div/div[2]/div[2]/span[1]/text()').extract_first()
            # # 标签
            movie_bqs = movie.css('div.categories ').extract()
            res = re.compile("[\u4e00-\u9fa5]+")
            movie_bq = res.findall(movie_bqs[0])

scrapy框架–items文件

• items：定义框架中数据传输的形式

• 定义item：

​ 定义item类并继承scrapy.item

​ 定义变量（也就是给字典定义一key值）

import scrapy


class Ss1MioveItem(scrapy.Item):
    # define the fields for your item here like:
    movie_name = scrapy.Field()
    movie_dates = scrapy.Field()
    movie_times = scrapy.Field()
    movie_scores = scrapy.Field()
    movie_adds = scrapy.Field()
    movie_pd = scrapy.Field()

代码解析：

• ​ item的使用：

  1. 在spider中的导入定义好的item

  2. 创建item对象

  3. 使用字典的方式给item赋值

     ​ item[‘变量名’] = 赋值 (变量名可以自定义)

  4. 使用yield返回item

在spider中的导入定义好的item
from ssr1.ss1_miove.ss1_miove.items import Ss1MioveItem
创建item对象
item = Ss1MioveItem()
使用字典的方式给item赋值
item['movie_name'] = name
item['movie_dates'] = movie_date
item['movie_times'] = movie_times
item['movie_scores'] = movie_scores.strip()
item['movie_adds'] = movie_adds
item['movie_pd'] = '、'.join(movie_bq)
使用yield返回item
yield item

图片代码解析

首先我们先学习将数据存储到本地文件中（csv文件）

• 可以在终端使用命令调用Feed export进行保存

scrapy crawl ss1_scrapy -o 1.csv 

• 修改setting.py文件配置Feed export进行保存

  FEED_FORMAT = 'csv'
  FEED_URI = 'python.csv'
  

  配置输出文件的格式：

  FEED_FORMAT = ‘csv’ #csv要求是小写不然无法生成文件不知道原因

  输出文件的路径以及文件名：

  FEED_URI = ‘python.csv’
  

以上是一个简单的scrapy的爬虫采集小项目