【python】

于 2024-06-21 20:26:55 发布
阅读量508 收藏 12
点赞数 17
文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74093057/article/details/139869350
版权

在PyCharm中创建Scrapy项目并爬取豆瓣电影Top 250数据

以下是从打开PyCharm开始的详细操作步骤：

1. 安装必要的软件

确保你已经安装了以下软件：

  • Python (建议版本3.6以上)
  • PyCharm
  • SQLite (可选，通常Python内置SQLite支持)
2. 打开PyCharm并创建一个新项目
  1. 打开PyCharm。
  2. 选择“Create New Project”。
  3. 在“Location”字段中，输入项目的路径，例如~/PycharmProjects/douban_scrapy。
  4. 确保选中“New environment using”并选择“Virtualenv”。
  5. 选择Python解释器，建议使用Python 3.6以上版本。
  6. 点击“Create”创建项目。
3. 安装Scrapy
  1. 打开PyCharm的终端窗口（View > Tool Windows > Terminal）。
  2. 在终端中输入以下命令来安装Scrapy：
    pip install scrapy
4. 创建Scrapy项目
  1. 在PyCharm的终端中，导航到项目目录：
    cd ~/PycharmProjects/douban_scrapy
  2. 创建一个新的Scrapy项目：
    scrapy startproject douban
  3. Scrapy会在项目目录下创建一个名为douban的文件夹，其中包含Scrapy项目的基本结构。
5. 定义Item
  1. 打开douban/douban/items.py文件。
  2. 定义需要爬取的数据字段：
    import scrapy

class MovieItem(scrapy.Item):
    rank = scrapy.Field()
    title = scrapy.Field()
    rating = scrapy.Field()
    num_reviews = scrapy.Field()
    quote = scrapy.Field()
    director = scrapy.Field()
    actors = scrapy.Field()
    region = scrapy.Field()
    genre = scrapy.Field()
    summary = scrapy.Field()
6. 编写Spider
  1. 在douban/douban/spiders目录下创建一个新的Python文件，命名为douban_spider.py。
  2. 编写爬虫代码：
    import scrapy
from douban.items import MovieItem

class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["movie.douban.com"]
    start_urls = ["https://movie.douban.com/top250"]

    def parse(self, response):
        for movie in response.css('div.item'):
            item = MovieItem()
            item['rank'] = movie.css('div.pic em::text').get()
            item['title'] = movie.css('span.title::text').get()
            item['rating'] = movie.css('span.rating_num::text').get()
            item['num_reviews'] = movie.css('div.star span:last-child::text').re_first(r'(\d+)')
            item['quote'] = movie.css('span.inq::text').get()
            detail_url = movie.css('div.hd a::attr(href)').get()
            request = scrapy.Request(detail_url, callback=self.parse_details)
            request.meta['item'] = item
            yield request

        next_page = response.css('span.next a::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

    def parse_details(self, response):
        item = response.meta['item']
        item['director'] = response.css('a[rel="v:directedBy"]::text').get()
        item['actors'] = response.css('a[rel="v:starring"]::text').getall()
        item['region'] = response.xpath('//span[text()="制片国家/地区:"]/following-sibling::text()').get()
        item['genre'] = response.css('span[property="v:genre"]::text').getall()
        item['summary'] = response.css('span[property="v:summary"]::text').get().strip()
        yield item
7. 实现Pipeline
  1. 打开douban/douban/pipelines.py文件。
  2. 编写数据存储到SQLite的代码：
    import sqlite3

class SQLitePipeline:
    def open_spider(self, spider):
        self.connection = sqlite3.connect("movies.db")
        self.cursor = self.connection.cursor()
        self.cursor.execute('''
            CREATE TABLE IF NOT EXISTS top250 (
                rank INTEGER PRIMARY KEY,
                title TEXT,
                rating REAL,
                num_reviews INTEGER,
                quote TEXT,
                director TEXT,
                actors TEXT,
                region TEXT,
                genre TEXT,
                summary TEXT
            )
        ''')
        self.connection.commit()

    def close_spider(self, spider):
        self.connection.close()

    def process_item(self, item, spider):
        self.cursor.execute('''
            INSERT OR REPLACE INTO top250 (rank, title, rating, num_reviews, quote, director, actors, region, genre, summary)
            VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
        ''', (
            item['rank'],
            item['title'],
            item['rating'],
            item['num_reviews'],
            item['quote'],
            item['director'],
            ', '.join(item['actors']),
            item['region'],
            ', '.join(item['genre']),
            item['summary']
        ))
        self.connection.commit()
        return item
8. 配置Pipeline
  1. 打开douban/douban/settings.py文件。
  2. 添加Pipeline配置：
    ITEM_PIPELINES = {
   'douban.pipelines.SQLitePipeline': 300,
}
9. 运行爬虫
  1. 打开PyCharm的终端窗口。
  2. 导航到项目目录：
    cd ~/PycharmProjects/douban_scrapy/douban
  3. 运行爬虫：
    scrapy crawl douban
  4. 确认数据已经被爬取并存储到SQLite数据库中。
10. 数据分析

  1. 在项目根目录下创建一个新的Python脚本，命名为data_analysis.py。

  2. 编写数据分析脚本：

    import sqlite3
import pandas as pd

# 连接SQLite数据库
conn = sqlite3.connect('movies.db')

# 读取数据
df = pd.read_sql_query("SELECT * FROM top250", conn)

# 按制片国家/地区排名前十名的电影
top_regions = df['region'].value_counts().head(10)
print("按制片地区排名前十名的电影：")
print(top_regions)

# 按电影类型排名前十名的电影
top_genres = df['genre'].str.split(', ').explode().value_counts().head(10)
print("\n按电影类型排名前十名的电影：")
print(top_genres)

# 按评论人数排名前十名的电影
top_reviews = df.sort_values(by='num_reviews', ascending=False).head(10)
print("\n按评论人数排名前十名的电影：")
print(top_reviews[['title', 'num_reviews']])

  3. 运行数据分析脚本：

    python data_analysis.py
11. 提交项目
  1. 确保所有代码已经完成并保存。
  2. 提交整个项目文件夹，包括movies.db数据库文件。
12. 编写实验报告
  1. 任务描述。
  2. 爬虫设计，包括选择和提取页面数据的方法、处理分页和详情页请求的方法、处理数据并存储到SQLite数据库的方法。
  3. 关键代码说明。
  4. 爬虫运行结果，包括部分爬取的数据示例。
  5. 数据分析结果。
  6. 实现过程中遇到的问题及解决方案。

【其他】 意外情况

修复 Scrapy 运行错误

这个错误通常与 Python 和 Scrapy 版本的兼容性有关。以下是修复此问题的几种方法：

方法 1: 修改 scrapy 配置文件
  1. 打开 douban/douban/settings.py 文件。
  2. 添加以下配置来使用 twisted 的 reactor：
    TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'
方法 2: 升级 twisted

有时，这个问题是由 twisted 的版本引起的。可以尝试升级 twisted：

  1. 打开 PyCharm 的终端窗口。
  2. 运行以下命令来升级 twisted：
    pip install --upgrade twisted
方法 3: 使用适配器包

可以安装 scrapy 的适配器包 scrapy-reactor 来解决此问题：

  1. 打开 PyCharm 的终端窗口。

  2. 安装适配器包：

    pip install scrapy-reactor

  3. 在 douban/douban/settings.py 文件中添加以下配置：

    REACTOR = 'scrapy_reactor.asyncioreactor.AsyncioSelectorReactor'
方法 4: 使用不同的 reactor

将 reactor 更改为 twisted.internet.selectreactor.SelectReactor 以避免异步问题：

  1. 打开 douban/douban/settings.py 文件。
  2. 添加以下配置来使用 SelectReactor：
    from twisted.internet import selectreactor
selectreactor.install()
检查其他设置

确保你的项目结构和配置正确无误。以下是配置 scrapy 项目的步骤回顾：

  1. 项目结构：

    douban/
├── douban/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       └── douban_spider.py
├── scrapy.cfg

  2. items.py：

    import scrapy

class MovieItem(scrapy.Item):
    rank = scrapy.Field()
    title = scrapy.Field()
    rating = scrapy.Field()
    num_reviews = scrapy.Field()
    quote = scrapy.Field()
    director = scrapy.Field()
    actors = scrapy.Field()
    region = scrapy.Field()
    genre = scrapy.Field()
    summary = scrapy.Field()

  3. douban_spider.py：

    import scrapy
from douban.items import MovieItem

class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["movie.douban.com"]
    start_urls = ["https://movie.douban.com/top250"]

    def parse(self, response):
        for movie in response.css('div.item'):
            item = MovieItem()
            item['rank'] = movie.css('div.pic em::text').get()
            item['title'] = movie.css('span.title::text').get()
            item['rating'] = movie.css('span.rating_num::text').get()
            item['num_reviews'] = movie.css('div.star span:last-child::text').re_first(r'(\d+)')
            item['quote'] = movie.css('span.inq::text').get()
            detail_url = movie.css('div.hd a::attr(href)').get()
            request = scrapy.Request(detail_url, callback=self.parse_details)
            request.meta['item'] = item
            yield request

        next_page = response.css('span.next a::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

    def parse_details(self, response):
        item = response.meta['item']
        item['director'] = response.css('a[rel="v:directedBy"]::text').get()
        item['actors'] = response.css('a[rel="v:starring"]::text').getall()
        item['region'] = response.xpath('//span[text()="制片国家/地区:"]/following-sibling::text()').get()
        item['genre'] = response.css('span[property="v:genre"]::text').getall()
        item['summary'] = response.css('span[property="v:summary"]::text').get().strip()
        yield item

  4. pipelines.py：

    import sqlite3

class SQLitePipeline:
    def open_spider(self, spider):
        self.connection = sqlite3.connect("movies.db")
        self.cursor = self.connection.cursor()
        self.cursor.execute('''
            CREATE TABLE IF NOT EXISTS top250 (
                rank INTEGER PRIMARY KEY,
                title TEXT,
                rating REAL,
                num_reviews INTEGER,
                quote TEXT,
                director TEXT,
                actors TEXT,
                region TEXT,
                genre TEXT,
                summary TEXT
            )
        ''')
        self.connection.commit()

    def close_spider(self, spider):
        self.connection.close()

    def process_item(self, item, spider):
        self.cursor.execute('''
            INSERT OR REPLACE INTO top250 (rank, title, rating, num_reviews, quote, director, actors, region, genre, summary)
            VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
        ''', (
            item['rank'],
            item['title'],
            item['rating'],
            item['num_reviews'],
            item['quote'],
            item['director'],
            ', '.join(item['actors']),
            item['region'],
            ', '.join(item['genre']),
            item['summary']
        ))
        self.connection.commit()
        return item

  5. settings.py：

    BOT_NAME = 'douban'

SPIDER_MODULES = ['douban.spiders']
NEWSPIDER_MODULE = 'douban.spiders'

ROBOTSTXT_OBEY = True

ITEM_PIPELINES = {
   'douban.pipelines.SQLitePipeline': 300,
}

TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

通过上述方法，应该能够解决 reactor 的错误问题。如果问题仍然存在，请确保 Scrapy 和 Twisted 版本是最新的，并尝试在一个新的虚拟环境中重新安装这些库。

halfbloodghost
关注
  • 17
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python2.7.17安装包
02-27
Python 2.7.17 是 Python 语言的一个重要版本，尤其对于那些仍然依赖于旧代码库或系统的人来说，它是必不可少的。这个安装包是专为64位（AMD64）架构设计的，适用于Windows操作系统。在本文中，我们将深入探讨Python...
python3.12.2版本
02-20
python3.12.2版本
【python技能树】python简介
左手の明天的博客
04-30 13万+
1 Python定义 Python 是一种简单易学并且结合了解释性、编译性、互动性和面向对象的脚本语言。Python提供了高级数据结构，它的语法和动态类型以及解释性使它成为广大开发者的首选编程语言。 Python 是解释型语言：开发过程中没有了编译这个环节。类似于PHP和Perl语言。 Python 是交互式语言：可以在一个 Python 提示符>>>后直接执行代码。 Python 是面向对象语言:Python支持面向对象的风格或代码封装在对象的编...
Python 基础（一）：入门必备知识
热门推荐
Python小二
10-30 109万+
Python 入门必备知识，你都掌握了吗？
anaconda python 版本对应关系
茶佬牛逼
07-14 22万+
本文更新于2019.11.18 更新了今年的版本号 在表格中用括号备注了包含的python版本号 Release date conda python2.7 python3.4 python3.5 python3.6 python3.7 python3.8 2015-02-25 3.4.3 ...
python最详细的安装与完全卸载
笼中鸟
03-11 15万+
一.python的安装 1.python下载 在网上（输入网址https://www.python.org/downloads/）下载Windows最新的python程序（我电脑为64位） （注意：不要下载32位的且尽可能不要下载3.6.x以上的版本，因为当你需要下载tensorflow库时候，会报错，所以一定要下载64位的3.6.x或者以下的python版本。） 2.选择下载的版本（我下载的是64位的3.6.8版本） 3.点开Download后，找到下载文件 注意：各文件的具体含义
【python基础】windows下python环境版本更新教程
任聪聪的博客
03-27 10万+
本篇文章主要讲解python旧版本更新新版本的方法和说明 作者：任聪聪 适用人群：python新手 python更新共有两种常见的可以通过命令行【linux服务器、mac中】和重新安装【windows、mac、linux图形化系统中】进行更新，本次我们只讲解windows下通过安装包进行更新的方法。 通过安装包进行更新 这里我们当前的python版本为3.9 而我们目前需要升级到3.10，所以我们需要先去官网下载 python的官网：https://www.python.org 步骤一、打开并进入官网.
python3.12.3环境
04-19
python3.12.3环境
Python 八股文.pdf
06-17
Python是一种高级编程语言，以其简洁明了的语法和丰富的标准库而受到广泛欢迎。"Python八股文"可能指的是对Python基础知识的一种系统性总结。在Python中，有以下几个关键概念值得深入探讨： 1. **内置电池...
python入门奶牛问题
06-02
python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题python入门奶牛问题...
使用Python调用微信本地ocr服务.zip
最新发布
05-12
使用Python调用微信本地ocr服务.zip使用Python调用微信本地ocr服务.zip使用Python调用微信本地ocr服务.zip使用Python调用微信本地ocr服务.zip使用Python调用微信本地ocr服务.zip使用Python调用微信本地ocr服务.zip...
python3.7.13
08-07
python3.7.13
python-3.10.14.exe
03-20
windwos环境下python 3.10系列32位安装包，仅推荐个人学习、开发、娱乐或者测试环境下使用。
python专利爬虫下载
04-24
Python专利爬虫是一种用于自动化收集网络上公开专利信息的程序，尤其在知识产权研究、数据分析以及法律服务等领域有广泛应用。这个特定的爬虫项目采用了中介者模式来管理请求，以避免对目标网站造成过大的压力，可能...
Python入门
04-14
Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的，这本书适合入门人学习，希望这本书能带领...
python3.8 基础镜像
03-05
python3.8 基础镜像
python-3.10.12.exe
07-05
windwos环境下python 3.10系列32位安装包，仅推荐个人学习、开发、娱乐或者测试环境下使用。
基于python和定向爬虫的商品比价系统
06-02
基于python和定向爬虫的商品比价系统基于python和定向爬虫的商品比价系统基于python和定向爬虫的商品比价系统基于python和定向爬虫的商品比价系统基于python和定向爬虫的商品比价系统基于python和定向爬虫的商品比价...
programming python
09-12
programming python 4th edition， python学习教程，python应用
python😋 😋
09-15
Python是一种交互式语言，可以在Python提示符（>>>）后直接执行代码。Python解释器易于扩展，可以通过调用C语言或C来扩展新功能和数据类型。Python有多种解释器，包括CPython、IPython、PyPy、Jython和IronPython等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值