scrapy框架爬虫初体验——豆瓣评分top250

最新推荐文章于 2023-10-23 00:00:00 发布
最新推荐文章于 2023-10-23 00:00:00 发布
阅读量748 收藏 4
点赞数 3
分类专栏： Python 数据挖掘 文章标签： python 数据挖掘 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25742923/article/details/104628618
版权

环境

Scrapy安装

Scrapy抓取步骤

第一步：新建项目

创建scrapy项目

设置settings.py

创建爬虫文件（douban_spider.py）

第二步：明确目标

打开网站

分析抓取内容

实现数据结构（items.py）

第三步：制作爬虫

测试

编写解析文件（douban_spider.py的parse()方法）

第四步：保存数据

存到文件

存到数据库

其他部分：爬虫的伪装

Ip代理中间件编写（middlewares.py）

user-agent中间件编写（middlewares.py）

注意事项

参考资料

环境

win 10 + pycharm + python 3.6 + scrapy 3.2.3

Scrapy安装

pip install scrapy

Scrapy抓取步骤

第一步：新建项目

第二步：明确目标

第三步：制作爬虫

第四步：存储内容

第一步：新建项目

创建scrapy项目

scrapy startproject douban

设置settings.py

settings.py：定义项目的全局设置。

爬虫协议设置：

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

默认 ROBOTSTXT_OBEY = True ，即遵守此协议；当爬取内容不符合该协议且仍要爬取时，设置 ROBOTSTXT_OBEY = False 
（引自：https://www.jianshu.com/p/19c1ea0d59c2）

抓取速度设置：

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0.5
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

创建爬虫文件（douban_spider.py）

此文件用于编写爬虫的xpath和正则表达式。

控制台中，进入项目douban/spiders，输入：

scrapy genspider douban_spider movie.douban.com

爬虫名称：douban_spider（不能与项目名重复）

所爬域名：movie.douban.com

第二步：明确目标

此步骤主要对所爬网站及所爬数据进行分析，并定义数据结构。

打开网站

如：https://movie.douban.com/top250

分析抓取内容

我所需要的内容包括序号、电影名字、电影介绍、评分、描述等6个部分。

以xpath工具分析获取节点路径：

    # 序号
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='pic']//em/text()
    # 电影名称    
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='info']//div[@class='hd']//a//span[@class='title'][1]/text()
    # 电影介绍    
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='info']//div[@class='bd']//p[1]/text()
    # 星级    
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='info']//div[@class='bd']//div[@class='star']//span[@class='rating_num']/text()
    # 电影评论数    
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='info']//div[@class='bd']//div[@class='star']//span[4]/text()
    # 电影描述    
//div[@class='article']//ol[@class='grid_view']//li//div[@class='item']//div[@class='info']//div[@class='bd']//p[@class='quote']//span[@class='inq']/text()
    # 下一页
//div[@class='article']//ol[@class='grid_view']//li//span[@class='next']/link/@href

实现数据结构（items.py）

import scrapy

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 序号
    serial_number = scrapy.Field()
    # 电影名称
    movie_name = scrapy.Field()
    # 电影介绍
    introduce = scrapy.Field()
    # 星级
    star = scrapy.Field()
    # 电影评论数
    evaluate = scrapy.Field()
    # 电影描述
    describe = scrapy.Field()

第三步：制作爬虫

测试

测试是否正常请求回数据（douban_spider.py）：

# -*- coding: utf-8 -*-
import scrapy

class DoubanSpiderSpider(scrapy.Spider):
    # 爬虫的名字（不能与项目名字相同）
    name = 'douban_spider'
    # 允许的域名
    allowed_domains = ['movie.douban.com']
    # 入口url
    start_urls = ['http://movie.douban.com/top250']
    
    def parse(self, response):
        print(response.text)

查询并设置user-agent（settings.py）（默认设置需要修改）：

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

控制台运行：

scrapy crawl douban_spider

设置启动文件main.py（在pycharm直接输出，方便运行）。在项目douban目录新建.py，命名为main.py：

from scrapy import cmdline

# 运行
cmdline.execute('scrapy crawl douban_spider'.split())

编写解析文件（douban_spider.py的parse()方法）

具体步骤：

  1. 通过xpath解析目标节点；
  2. xpath规则抽取需要的内容（不要忘记打点(.//)）；
  3. yield到douban_item中去翻页；
  4. 解析“下一页” 实现自动翻页。
# 默认的解析方法
    def parse(self, response):
        # 查看是否请求回数据
        # print(response.text)
        # 循环电影的条目
        movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']//li")
        for i_item in movie_list:
            # item文件导进来
            douban_item = DoubanItem()
            # 写详细的xpath，进行数据的解析
            douban_item['serial_number'] = i_item.xpath(".//div[@class='item']//div[@class='pic']//em/text()").extract_first()
            douban_item['movie_name'] = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='hd']//a//span[@class='title'][1]/text()").extract_first()
            content = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='bd']//p[1]/text()").extract()
            # 数据的处理
            for i_content in content:
                content_s = "".join(i_content.split())
                douban_item['introduce'] = content_s
            # print(douban_item)
            douban_item['star'] = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='bd']//div[@class='star']//span[@class='rating_num']/text()").extract_first()
            douban_item['evaluate'] = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='bd']//div[@class='star']//span[4]/text()").extract_first()
            douban_item['describe'] = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='bd']//p[@class='quote']//span[@class='inq']/text()").extract_first()
            # 你需要讲数据yield到pipelines里面去
            yield  douban_item
        # 解析下一页规则，取后一页的xpath
        next_link = response.xpath(".//span[@class='next']/link/@href").extract()
        if next_link:
            next_link = next_link[0]
            yield scrapy.Request("https://movie.douban.com/top250" + next_link, callback=self.parse)

第四步：保存数据

存到文件

存为json：

scrapy crawl douban_spider -o test.json

存为csv：

scrapy crawl douban_spider -o test.csv

如有乱码：

Notepad++打开csv文件，编码选择utf-8 bom，保存。

main.py实现方式：

from scrapy import cmdline

# 运行
# cmdline.execute('scrapy crawl douban_spider'.split())

# 数据导出
cmdline.execute('scrapy crawl douban_spider -o test.json'.split())
cmdline.execute('scrapy crawl douban_spider -o test.csv'.split())

存到数据库

如Mongodb、mysql等。

需要开启item_piplines（settings.py里）：

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'douban.pipelines.DoubanPipeline': 300,
}

其他部分：爬虫的伪装

Ip代理中间件编写（middlewares.py）

引自：https://www.imooc.com/learn/1017

以阿布云代理为例：

request.meta['proxy'] = '代理ip:端口'
proxy_name_pass = b'用户名:密码'

如：

用户名、密码分号分隔：

agent = random.choice(USER_AGENT_LIST)

使用base64加密：

proxy_name_pass = b'用户名:密码'
encode_pass_name = base64.b64encode(proxy_name_pass)

如：

设置ip头（Basic后有空格）：

requst.headers['Proxy-Authorization'] = 'Basic ' + encode_pass_name.decode()

中间件设置到settings.py里（优先级保持默认即可，数字越小优先级越高）：

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    # 'douban.middlewares.DoubanDownloaderMiddleware': 543,
    'douban.middlewares.my_proxy': 543,
}

运行（有my_proxy即代表运行代理成功，有效地隐藏了ip）

代码：

class my_proxy(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = '代理ip:端口'
        proxy_name_pass = b'用户名:密码'
        encode_pass_name = base64.b64encode(proxy_name_pass)
        requst.headers['Proxy-Authorization'] = 'Basic ' + encode_pass_name.decode()

user-agent中间件编写（middlewares.py）

常见user-agent：（引自：https://blog.csdn.net/weixin_42144379/article/details/85639397）

# 各种PC端
        user_agent_list_2 = [
            # Opera
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
            "Opera/8.0 (Windows NT 5.1; U; en)",
            "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
            # Firefox
            "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
            "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
            # Safari
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
            # chrome
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
            "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
            # 360
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
            # 淘宝浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
            # 猎豹浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
            # QQ浏览器
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
            # sogou浏览器
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
            # maxthon浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
            # UC浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
        ]
        # 各种移动端
        user_agent_list_3 = [
            # IPhone
            "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
            # IPod
            "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
            # IPAD
            "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
            "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
            # Android
            "Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            # QQ浏览器 Android版本
            "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            # Android Opera Mobile
            "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
            # Android Pad Moto Xoom
            "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
            # BlackBerry
            "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
            # WebOS HP Touchpad
            "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
            # Nokia N97
            "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
            # Windows Phone Mango
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
            # UC浏览器
            "UCWEB7.0.2.37/28/999",
            "NOKIA5700/ UCWEB7.0.2.37/28/999",
            # UCOpenwave
            "Openwave/ UCWEB7.0.2.37/28/999",
            # UC Opera
            "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999"
        ]
        # 一部分 PC端的
        user_agent_list_1 = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]

USER_AGENT_LIST：

class my_useragent(object):
    def process_request(self, request, spider):
        USER_AGENT_LIST = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]

设置随机：

agent = random.choice(USER_AGENT_LIST)

设置http头：

request.headers['User-Agent'] = agent

settings.py设置（与其他中间件的优先级不能相同）：

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
    
    'douban.middlewares.my_proxy': 543,
    'douban.middlewares.my_useragent': 544,
}

注意事项

  1. 中间件定义完要在settings.py中启用；

  2. 爬虫项目不能与爬虫文件名称相同，spiders目录内不能存在相同爬虫名称的项目文件；

  3. 文明守法，尊重公民隐私，不违反法律法规。

参考资料

教程及内容：https://www.imooc.com/learn/1017

settings部分内容：https://www.jianshu.com/p/19c1ea0d59c2

user-agent部分：https://blog.csdn.net/weixin_42144379/article/details/85639397

愤怒的软绵绵
关注
专栏目录
scrapy爬取豆瓣top250详情信息
Z_PEIJIN的博客
09-11 1980
​ 1、项目简介 本次项目利用scrapy爬虫框架实现抓取豆瓣top250的详情页信息，主要字段如下： 主要字段： Num——》电影排名 DetailLink——》详情页链接 Title——》电影标题 RatingNum——》评分 Votes——》评价人数 Director——》导演 Writer——》编剧 Actor——》主演 Type——》类型 Region——》制片国家 Language——》语言 ReleaseDate——》上映时间 RunTime——》片长 2、创建项目文件 创建一个scrapy
爬虫框架scrapy，爬取豆瓣电影top250
almost_Mr的博客
12-31 7731
1 . 新建项目进入打算存储代码的目录，命令行运行如下语句 scrapy startproject tutorial 2 . 定义Itemimport scrapyclass DoubanItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title
python爬虫——豆瓣top250之scrapy框架
有人_295的博客
12-29 970
记录下对 scrapy 框架的认识，以及爬取豆瓣 top250 实战。 一、前提 编译IDA：pycharm 社区版 python版本：python3.7.4 二、Scrapy框架介绍 2.1、结构图 2.2、模块分析 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回....
用SCRAPY爬取豆瓣
big_data_vicky的博客
10-11 131
用SCRAPY爬取豆瓣 Items.py import scrapy class Douban1Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() names = scrapy.Field() actors = scrapy.Field()...
python之Scrapy爬虫案例：豆瓣
最新发布
局外人LZ的博客
10-23 975
【代码】python之Scrapy爬虫案例：豆瓣。
Python scrapy爬取豆瓣
weixin_52102581的博客
10-28 622
任务一 爬取豆瓣并存储 1-3在命令行中实行，任务爬取豆瓣网的电影名和评分 豆瓣电影 Top 250 1、检查scrapy是否安装那个成功，命令 在cmd 输入scrapy 检查是否成功 2、cd 命令 路径切换到 cd /d E:\demo\shixun_workspase\demo2\zl\10.26 3、创建项目命令 scrapy startproject doubanPro 后面步骤进入到pycharm环境执行打开创建的工程 4、就在pycharm Term
Scrapy 框架：爬取豆瓣Top 250
T5858785的博客
05-21 4107
使用Scrapy爬取豆瓣电影Top250 鲁迅说,豆瓣排行榜这么多,不爬一爬可惜了. 第一步：安装Scrapy 安装命令: pip3 install scrapy win用户一般来说第一次都不会太顺利。（我不会告诉你我也装了3个小时） 所以，本文结束。 这里是另外一种win7的安装方式，传说该作者是一次通过的http://www.scrapyd.cn/doc/124.html 其实本人觉得在无数次安装失败提示当中，主要是因为依赖库 Twisted-21.2.0-py3-none-any.whl文件
爬虫项目实操三、用scrapy框架爬取豆瓣读书Top250的书名,出版信息和评分
随风的博客
04-14 1930
安装方法：Windows：在终端输入命令：pip install scrapy；mac：在终端输入命令：pip3 install scrapy，按下enter键,再输入cd Python，就能跳转到Python文件夹。接着输入cd Pythoncode，就能跳转到Python文件夹里的Pythoncode子文件夹。最后输入一行能帮我们创建Scrapy项目的命令：scrapy startproject douban，douban就是Scrapy项目的名字。按下enter键，一个Scrapy项目就创建成功了。
爬虫教程——用Scrapy爬取豆瓣TOP250
06-08
好的，我可以为您提供爬虫教程，以下是使用Scrapy框架爬取豆瓣电影TOP250的步骤： 1. 创建Scrapy项目 首先需要使用Scrapy命令行工具创建一个Scrapy项目，可以使用以下命令： ``` scrapy startproject douban_top...
爬取豆瓣图书TOP250信息并简单分析展示
02-04
使用scrapy框架爬取豆瓣图书榜Top250，并使用django框架进行数据的分析展示。包含设计文档。
Python scrapy爬取豆瓣电影top250
03-12
Python scrapy爬取豆瓣电影top250，非常简单，2分钟搞定
07_scrapy的应用——获取电影数据（通过excel保存静态页面scrapy爬虫数据的模板/通过数据库保存）
sz1125218970的博客
06-12 1610
一般我们自己创建的一些python项目，我们都需要创建虚拟环境，其中会下载很多包，也叫做依赖。但是我们在给他人分享我们的项目时，不能把虚拟环境打包发送给别人，因为每个人电脑系统不同，我们可以把依赖导出为依赖清单，然后别人有了我们的依赖清单，就可以用一条指令把我们的依赖下载到它的项目环境中，这样就能快速运行和部署python项目了在终端中生成依赖清单的指令：pip freeze > requirements.txt。
Scrapy 爬豆瓣--记录
淡泊
12-31 250
# -*- coding: utf-8 -*- import scrapy import ConfigParser import reclass MovieSpider(scrapy.Spider): download_delay = 1 #防止IP被封，设置爬取时间 config = ConfigParser.RawConfigParser() #RawConfigParser
python用scrapy爬虫豆瓣_python爬虫，用Scrapy爬取豆瓣Top250，存入MySQL
weixin_39705435的博客
12-22 325
小白大四生，虽然是计算机专业，但是对学的几门编程语言缘分不深，然后自学了python。(这是我后来补得，因为我发现我写的太笼统了并不适合给新手看，对不起！所以希望大家轻点喷，后面我会从特别特别特别详细写的，这个只是个思路吧)好吧，发这个文章的主要目的是过两天要去面试爬虫实习生的岗位了，借着第一次发文章，写了个小爬虫，复习复习。下面进入正题。。。首先，肯定是安装scrapy的框架，pip insta...
利用Scrapy爬取豆瓣电影
theVicTory的博客
11-22 9439
1、概念 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通过Python包管理工具可以很便捷地对scrapy进行安装，如果在安装中报错提示缺少依赖的包，那就通过pip安装所缺的包 pip install scrapy scrapy的组成结构如下图所示 引擎Scrapy Engine，用于中转调...
scrapy 豆瓣短评 数据分析 + 中文情感分析 + 可视化 （一）
huangwencai123的博客
08-23 2456
scrapy 豆瓣短评 数据分析 + 中文情感分析 + 可视化 （一） 一、scrapy 爬取 豆瓣短评 本次爬取的是哪吒之魔童降世 短评 。本次爬取的是静态网页还是蛮简单的。 1、开始地址 https://movie.douban.com/subject/26794435/comments?status=P 爬取的内容 item设置为 class DoubanscrapyItem(scrap...
爬取豆瓣图书Top250书籍信息
Qaz_wz的博客
04-04 3404
小白一个，接触Python一个多月了，自己感觉最有趣的莫过于利用Python进行网络爬虫，原来都是看着别人的博客把代码抄一遍，今天时间稍微多一些，自己写了一个小爬虫，从分析网页源代码开始，一步步对代码进行设计与完善，捣腾了一中午，终于算是成功了，心情还是蛮激动。下面把代码跟大家分享一下。豆瓣图书Top250网址：https://book.douban.com/top2501、首先打开Google浏览
利用scrapy爬取豆瓣top250
热门推荐
一万年太久，只争朝夕
09-15 1万+
##前言(目的) 本文为scrapy爬虫的入门文章，作者尽量将自己刚开始学习所遇到的问题都还原出来，过程尽量写得详细详细再详细。希望通过这篇文章来记录自己刚开始学习爬虫所踩过的一些坑，同时记录下自己处理和解决问题的思路，便于和大家分享交流，同时也希望读者能仅仅只通过这一篇文章，就搭建出一个 demo 可以立马上手跑起来。 在本篇文章中，作者先简单的介绍了爬虫的基本概念和 scrapy 爬虫框架，接着以豆瓣电影TOP250为例，详细讲述 scrapy 的实际运用。由于作者水平有限，若有错误或不恰当之处，还望不
Scrapy初学者教程：爬取豆瓣Top250评分
"这篇教程介绍了如何使用Python的Scrapy框架来爬取豆瓣评分最高的250部电影的数据。教程适用于Windows 10操作系统，使用PyCharm IDE，并且需要Python 3.6和Scrapy 3.2.3版本。" 在开始Scrapy爬虫项目之前，首先确保...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值