scrapy项目各文件配置详细解析

最新推荐文章于 2022-03-26 21:19:29 发布
最新推荐文章于 2022-03-26 21:19:29 发布
阅读量806 收藏 7
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42002651/article/details/102745054
版权

无事做学了一下慕课网的scrapy爬虫框架，这里以豆瓣电影Top250爬虫为例子，课程用的MongoDB我这边使用的是mysql

1. settings文件参数含义

参数含义
DOWNLOAD_DELAY = 0.5下载延迟
DOWNLOADER_MIDDLEWARES= { # 这里的优先级不能相同 ‘crawler.middlewares.my_useragent’: 544,}添加自己定义的伪装规则
ITEM_PIPELINES= { ‘crawler.pipelines.CrawlerPipeline’: 300,}一定要开启pipeline

2. items设计数据结构

# -*- coding: utf-8 -*-
import scrapy


class CrawlerItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    serial_number = scrapy.Field()
    movie_name = scrapy.Field()
    introduce = scrapy.Field()
    star = scrapy.Field()
    evaluate = scrapy.Field()
    describe = scrapy.Field()

3. douban_spider编写爬虫xpath

# -*- coding: utf-8 -*-
# 豆瓣top50爬虫案例
import scrapy
from crawler.items import CrawlerItem

class DoubanSpiderSpider(scrapy.Spider):
    # 爬虫名，不能和项目名字重复
    name = 'douban_spider'
    # 允许的域名
    allowed_domains = ['movie.douban.com']
    # 入口url,扔到调度器里面
    start_urls = ['https://movie.douban.com/top250']

    # 默认解析方法
    def parse(self, response):
        # 循环电影条目
        movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']/li")
        for item in movie_list:
            # 导入items文件创建数据结构
            douban_item = CrawlerItem()
            # 写详细的xpath，进行数据解析
            douban_item['serial_number'] = int(item.xpath(".//div[@class='item']//em/text()").extract_first())
            douban_item['movie_name'] = item.xpath(".//div[@class='info']/div[@class='hd']/a/span[1]/text()").extract_first()
            content = item.xpath(".//div[@class='info']/div[@class='bd']/p[1]/text()").extract()
            # content_s = ''
            for i_content in content:
                # split（）以空格为分隔符，取最后一段
                content_s = ''.join(i_content.split())
                douban_item['introduce'] = content_s
            douban_item['star'] = float(item.xpath(".//span[@class='rating_num']/text()").extract_first())
            douban_item['evaluate'] = item.xpath(".//div[@class='star']/span[4]/text()").extract_first()
            douban_item['describe'] = item.xpath(".//span[@class='inq']/text()").extract_first()

            # 解析完，必须送到管道里
            yield douban_item
        # 解析下一页规则：检测是否有下一页，有连接就取，没有就不取
        next_link = response.xpath("//span[@class='next']/link/@href").extract()
        if next_link:
            nextlink = next_link[0]
            yield scrapy.Request("https://movie.douban.com/top250"+nextlink, callback=self.parse)

4. pipeline数据存储

# settings文件中设定数据库基本参数
# 数据库参数
sql_host = "localhost"
sql_port = 3306
sql_user = "root"
sql_passwd = "186186"
sql_db_name = 'scrapy_crawler'
# 数据库编码
sql_charset = 'utf8'
sql_use_unicode = True


# -*- coding: utf-8 -*-
import pymysql
from crawler.settings import sql_passwd,sql_db_name,sql_host,sql_user,sql_use_unicode,sql_charset,sql_port

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


class CrawlerPipeline(object):
    def __init__(self):
        # 连接数据库
        self.connect = pymysql.connect(
            host=sql_host,
            port=sql_port,
            db=sql_db_name,
            user=sql_user,
            passwd=sql_passwd,
            charset=sql_charset,
            use_unicode=sql_use_unicode
        )
        # 拿到操作数据库的游标
        self.cursor = self.connect.cursor()


    def process_item(self, item, spider):
        # 执行插入操作
        self.cursor.execute(
            '''
            insert into douban_top250 VALUE (%s,%s,%s,%s,%s,%s)
            ''', (item['serial_number'], item['movie_name'], item['introduce'], item['star'], item['evaluate'], item['describe'])
        )
        self.connect.commit()
        return item

5. middlewares添加代理和agent池

# 编写代理ip，这里无法使用了过期了
class my_proxy(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http-cla.abuyun.com:9030'
        proxy_name_pass = b'H211EATS905745KC:F8FFBC929EB7D5A7'
        encode_pass_code = base64.b64encode(proxy_name_pass)
        request.headers['Proxy-Authrization'] = 'Basic '+ encode_pass_code.decode()

# 使用user-agent池使用不同的标识访问
class my_useragent(object):
    def process_request(self, request, spider):
        user_agent_list = [
            'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
            'Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
            'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
            'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)',
            'Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20',
            'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6',
            'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)',
            'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
            'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1',
            'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.3 Mobile/14E277 Safari/603.1.30',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
        ]
        agent = random.choice(user_agent_list)
        request.headers['User_Agent'] = agent

6. 新建main.py作为项目执行入口

from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())

7. 数据库结构

在这里插入图片描述

8. 结果

在这里插入图片描述

Horizon~
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy项目环境配置
qq_35309022的博客
11-14 250
创建python2的虚拟环境 mkvirtualenv py2 创建python3的虚拟环境 mkvirtualenv -p python3 py3env(名称) 可以查看当前的python环境： 进入环境：workon py3env 删除环境： rmvirtualenv venv 退出环境： deactivate 安装scrapy: 安装django:...
Python爬虫框架scrapy实现的文件下载功能示例
09-20
通过定义爬虫、解析链接、创建请求、定义下载pipeline以及配置项目设置，我们可以高效地抓取和存储网络上的文件。这种结构化的处理方式使得代码可复用，且易于维护，是Scrapy的一个重要优势。对于Python爬虫开发者来...
创建Scrapy项目过程及各文件含义
qq_39360565的博客
05-20 1145
废话不多说，直接上步骤： 首先，要下载scrapy的包文件，下载好之后，win+R打开黑屏终端，输入scrapy就可以查看版本信息，以及已经发布的scrapy项目的信息。 （注：如果已经在自己电脑上发布了scrapy项目，黑屏终端输入scrapy启动服务之后，就可以通过浏览器127.0.0.1:6800查看已经发布的项目了） 1. 使用cmd黑屏终端cd到你要创建项目的目录下，然后输入以下内容 scrapy startproject xxx 其中xxx是你项目的名称 如下图所示： 2. 创建完毕之后，就可
Scrapy中settings的各种配置
qq_39959696的博客
07-12 2276
# -*- coding: utf-8 -*- # Scrapy settings for step8_king project # # For simplicity, this file contains only settings considered important or # commonly used. You can find more settings consulting the...
scrapy中setting.py中每一个设置的含义
weixin_30782293的博客
02-27 109
# -*- coding: utf-8 -*- # Scrapy settings for GitHub project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the docum...
scrapy实现数据持久化、数据库连接、图片文件下载及settings.py配置
diaolouan9546的博客
08-09 345
数据持久化的两种方式：（1）基于终端指令的持久化存储；（2）基于管道的持久化存储 基于终端指令的持久化存储 　　在爬虫文件的parse方法中必须要return可迭代对象类型（通常为列表或字典等）的返回值，该返回值作为基于终端指令持久化指定文件的输出内容。 执行输出指定格式进行存储-------将爬取到的数据写入不同格式的文件中进行存储，存储格式有限： scrapy c...
python—scrapy数据解析、存储
qq_34577961的博客
03-26 925
基本操作：python-scrapy爬虫框架基本使用_郑*杰的博客-CSDN博客 数据解析 当前文件 ：D:\python_test\scrapyProject\scrapyProject\spiders\first.py import scrapy class FirstSpider(scrapy.Spider): name = 'first' start_urls = ['https://ishuo.cn/duanzi'] def parse(self, re
scrapy项目源码（入门练习）
11-10
1. **项目结构**：Scrapy项目有一个固定的文件夹结构，包括`spiders`（存放爬虫代码）、`items`（定义要抓取的数据结构）、`pipelines`（处理抓取到的数据）、`settings.py`（配置文件）等。 2. **Spider**：Spider...
基于scrapy的redis安装和配置方法
09-09
在Scrapy项目的settings.py文件中，添加以下配置： ```python SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' ...
scrapy入门练手项目源代码.rar
03-12
在实际的Scrapy项目中，你可能还会遇到其他概念，如Settings（配置文件），用于设置项目的全局属性；Downloader Middleware，负责处理请求和响应的低级细节；以及Feeds Export，用于直接将爬取结果导出到文件或在线...
记录一下scrapy中settings的一些配置小结
01-19
本文主要介绍了scrapy settings配置，分享给大家，具体如下： # 字符编码 FEED_EXPORT_ENCODING = 'utf-8' # redis写法一 # REDIS_URL = 'redis://localhost:6379' # redis写法二 REDIS_HOST = '192.168.10.223' REDIS_PORT = 6379 # 默认的 scrapy redis 会读取下面的密码和db REDIS_PARAMS = { 'password': '123456', 'db': redis_db } # 对于失败的HTTP请求(如超时)进行重
详解python3 + Scrapy爬虫学习之创建项目
09-19
这将生成一个包含Scrapy项目结构的文件夹，其中包括`settings.py`（项目配置）、`spiders`（存放爬虫代码的目录）和其他必要的文件。 创建完项目后，你需要创建一个爬虫。在项目目录内，进入`spiders`文件夹，然后...
scrapy 爬取数据保存到mysql的基本配置
小米的博客
06-12 875
import pymysql class MysqlPipeline(object): def __init__(self): self.conn = None self.cur = None def open_spider(self, spider): # 连接数据库 self.conn = pymysql.co...
Scrapy学习篇（四）之数据存储
weixin_30485799的博客
08-19 138
上一篇中，我们简单的实现了一个博客首页信息的爬取，并在控制台输出，但是，爬下来的信息自然是需要保存下来的。这一篇主要是实现信息的存储，我们以将信息保存到文件和mongo数据库为例，学习数据的存储，依然是以博客首页信息为例。 编写爬虫 修改items.py文件来定义我们的item Item 是保存爬取到的数据的容器；其使用方法和python字典类似。虽然你也可以在Scrapy中直接使用dict，但是...
scrapy的配置文件settings
weixin_30372371的博客
08-17 200
#==>第一部分：基本配置<=== #1、项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名 BOT_NAME = 'Amazon' #2、爬虫应用路径 SPIDER_MODULES = ['Amazon.spiders'] NEWSPIDER_MODULE = 'Amazon.spiders' #3、客户端User-Agent请求头 #USER_AG...
Scrapy的文件结构 以及 几个文件之间的联系
jingwenliu的博客
08-25 1376
（！！！————本篇博客以 ” 伯乐在线 “ 网站为例————！！！） Scrapy的文件结构 1. items.py ———（是定义scrapy内部数据的文件 ） # (1) items.py 里的类都是继承 scrapy.item，如： # (2) 这个类里边所有的属性都等于scrapy.Field() class BoleItem(scrapy.Item): ...
Scrapy通用爬虫笔记—配置文件与配置加载
Duke_LH的博客
10-09 2637
Scrapy通用爬虫个人理解就是针对一系列相似的站点建立一个爬虫框架，包含基本的框架代码，不同点可能在于各个站点的数据形式、爬取规则、页面解析形式。将爬取各个站点所需要的代码分开保存，爬取时再在框架中导入即可。 1. 配置文件 配置文件内容：简单点就是针对要爬取的站点所需要的独有的信息，参数都应该写进去。可以包括该爬虫的信息，起始链接和域名，爬虫设置（settings），爬取规则（Rule）,以...
读取scrapy配置文件setting.py中的方法
|张超|的博客
02-18 3015
from scrapy.utils.project import get_project_settings settings = get_project_settings() user_agents = settings['USER_AGENTS']  
Scrapy创建项目以及setting设置
lly2234317974的博客
03-02 1406
一、Scrapy创建项目1.cmd命令    1.cd Desktop     2.scrapy startproject 文件名    3.cd 文件名    4.scrapy genspidr 爬虫名字 网站域名、二、setting设置        1.robots.txt协议（爬虫协议），默认True遵守    2.延迟发送请求    3.禁用cookie追踪    4.设置user-ag...
如何创建scrapy项目
最新发布
07-28
要创建一个Scrapy项目，你可以按照以下步骤进行操作： 1. 首先，确保你的系统已经安装了Python。你可以在终端或命令提示符中输入`python --version`来检查Python的安装情况。 2. 接下来，安装Scrapy。在终端或命令提示符中运行以下命令： ``` pip install scrapy ``` 3. 安装完成后，你可以使用以下命令创建一个新的Scrapy项目： ``` scrapy startproject <project_name> ``` 其中`<project_name>`是你想要给项目起的名称。这将在当前目录下创建一个名为`<project_name>`的文件夹，并在其中生成Scrapy项目的基本结构。 4. 进入项目文件夹： ``` cd <project_name> ``` 5. 接下来，你可以使用以下命令生成一个Scrapy爬虫： ``` scrapy genspider <spider_name> <website_url> ``` 其中`<spider_name>`是你想要给爬虫起的名称，`<website_url>`是你要爬取的网站的URL。这将在项目的`spiders`文件夹中创建一个新的爬虫文件，并使用指定的URL作为起始点。 6. 编辑生成的爬虫文件，根据需要配置爬取规则、解析逻辑等。 7. 最后，你可以使用以下命令运行爬虫： ``` scrapy crawl <spider_name> ``` 其中`<spider_name>`是你之前创建的爬虫的名称。爬虫将开始工作，按照你配置的规则进行数据的爬取和处理。 这些是创建Scrapy项目的基本步骤，你可以根据自己的需求进行配置和修改。详细的Scrapy文档可以在Scrapy官方网站上找到，可以帮助你更深入地了解和使用Scrapy。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值