scrapy的入门使用

安装

pip install scrapy

入门使用

1.创建一个scrapy项目
scrapy startproject 项目名
scrapy startproject myspider

2.生成一个爬虫
scrapy genspider 爬虫名 允许爬取的范围
允许爬取的范围：域名
例如：
https://fanyi.baidu.com/?aldtype=16047#en/zh/
对于这个网站来说，允许爬取的范围就是 fanyi.baidu.com

3.提取数据
完善spider，使用xpath等方法

4.保存数据
在pipeline中保存数据

5.启动爬虫
scrapy crawl 爬虫名

scrapy入门

创建一个scrapy项目

创建一个爬虫

完善spider

使用pipeline

实例

使用scrapy框架爬取下面的网站
http://www.itcast.cn/channel/teacher.shtml#ajavaee

网站介绍

确定start_urls的地址
http://www.itcast.cn/channel/teacher.shtml#ajavaee
查看一下上面的这个url地址对应的响应中是否存在着我们想要的数据
选中页面，鼠标右键，查看网页源代码


我们可以看见，这个url地址对应的响应中确实是存在着我们想要的数据的
因而，我们选用这个url地址作为我们的start_urls地址

写xpath语句

代码预览

文件树

这个是最终的文件树

cmd

scrapy startproject Myspider

cd Myspider

scrapy genspider itcast itcast.cn
# 网址为：http://www.itcast.cn/channel/teacher.shtml#ajavaee

scrapy crawl itcast

itcast.py

# -*- coding: utf-8 -*-
import scrapy
from ..items import MyspiderItem

class ItcastSpider(scrapy.Spider):
    name = 'itcast'  # 爬虫名
    allowed_domains = ['itcast.cn']  # 允许爬取的范围，网站的域名
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ajavaee']  # 最开始请求的url地址
    # 我们的爬虫启动起来必须要有一个url地址，告诉它：从哪个地方开始爬取内容
    # 当前的url地址我们并没有给它指定，这是它通过allowed_domains自动帮助我们生成的一个url地址
    # 这个url地址一般来说都是需要我们自己手动指定的，因为scrapy默认生成的url地址对应的响应一般不包括我们想要的数据

    def parse(self,response):
        # 注意：这个地方方法的名字不可以修改，否则会报错
        # raise NotImplementedError
        # 方法未完成

        # 处理start_urls地址对应的响应，它的响应就是这个response
        # 拿到response之后，就可以提取数据
        # result=response.xpath('//ul[@class="clears"]//div[@class="main_mask"]/h2/text()')
        # print(result)

        # 获取老师的姓名
        # teacher_name=response.xpath('//ul[@class="clears"]//div[@class="main_mask"]/h2/text()').extract()
        # print(teacher_name)
        """
        为什么我们可以对列表使用extract()方法？
        这个得到的并不是列表，而是scrapy自己定义的一种与列表类似的类型
        """

        # 分组提取数据
        li_list=response.xpath('//div[@class="maincon"]/ul[@class="clears"]//li')  # 取到了所有的li标签
        for li in li_list:
            item=MyspiderItem()
            # item["name"]=li.xpath('.//div[@class="main_bot"]/h2/text()').extract()[0]
            item["name"]=li.xpath('.//div[@class="main_bot"]/h2/text()').extract_first()

            # item["title"]=li.xpath('.//div[@class="main_bot"]/h2/span/text()').extract()[0]
            item["title"]=li.xpath('.//div[@class="main_bot"]/h2/span/text()').extract_first()

            # .extract_first()与.extract()[0]
            # .extract_first()就能够从这个列表中提取它的第一个值、第一个字符串、第一个结果
            # .extract_first()=.extract()[0]
            """
            如果xpath书写错误或者是没有获取到数据的时候：
            
            - .extract_first()
            返回一个None值
            
            - .extract()[0]
            报错
            """


            # print(item)

            # 如何将item中的数据传到pipelines中呢？
            yield item
            # 减少内存的占用
            # Spider must return Request, BaseItem, dict or None

items.py

# -*- coding: utf-8 -*-
"""
我们可以在其中预先定义好我们要爬哪一些字段
我们可以在items.py文件中定义
"""

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class MyspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()
    title = scrapy.Field()

pipelines.py

# -*- coding: utf-8 -*-
"""
管道：数据的处理和保存
"""

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

# 需要在setting中开启

import json  # 数据的保存

class MyspiderPipeline1:
    def process_item(self, item, spider):
        # 这个item就是我们从爬虫的那个地方传过去的item，会到这个地方来
        # 注意：这个地方方法的名字不可以修改，否则会报错

        print(item)

        # item["你好"]="hello"  # 向item中添加键值对

        # 保存数据到本地
        self.save_item(dict(item))

        return item
        # 为了让数据能够在不同的pipeline中传递，必须使用return返回数据，否则后面的pipeline接收不到数据，为None值

    def save_item(self,item):
        """实现存储方法"""
        with open("temp.txt","a") as f:
            json.dump(item,f,ensure_ascii=False,indent=2)



class MyspiderPipeline2:
    def process_item(self, item, spider):
        # 注意：这个地方方法的名字不可以修改，否则会报错


        return item

settings.py

变动的地方

全部的代码

# -*- coding: utf-8 -*-
"""这是整个项目的设置的文件"""

# Scrapy settings for Myspider project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'Myspider'

SPIDER_MODULES = ['Myspider.spiders']
NEWSPIDER_MODULE = 'Myspider.spiders'

LOG_LEVEL = "WARN"
# 比"WARN"等级要小的日志都不会再显示在终端中

# log4j定义了8个级别的log（除去OFF和ALL，可以说分为6个级别），优先级从高到低依次为：OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、 ALL。
# Log4j建议只使用四个级别，优先级从高到低分别是ERROR、WARN、INFO、DEBUG。


# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True
# =True  表示遵守Robots协议
# =False  表示不遵守Robots协议
# 默认=True，也就是遵守Robots协议

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    'Myspider.middlewares.MyspiderSpiderMiddleware': 543,
#}

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'Myspider.middlewares.MyspiderDownloaderMiddleware': 543,
#}

# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    'scrapy.extensions.telnet.TelnetConsole': None,
#}

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'Myspider.pipelines.MyspiderPipeline1': 300,  # 优先
   # 'Myspider.pipelines.MyspiderPipeline2': 301,
}
# 键：类的位置，相对于项目路径
# 值：距离引擎的远近，越小越近越优先

# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = 'httpcache'
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

思考

为什么我们需要给爬虫一个允许爬取的范围呢？

因为使用scrapy框架爬虫非常快，如果我们不加以限制，可能会爬取到别的网站上的信息