scrapy mysql 豆瓣_Scrapy爬取豆瓣电影并存入MySQL数据库

d:

进入D盘

scrapy startproject douban

创建豆瓣项目

cd douban

进入项目

scrapy genspider douban_spider movie.douban.com

创建爬虫

20180707212551542280.png

20180707212551826442.png

编辑items.py:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class DoubanItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

serial_number = scrapy.Field()

# 序号

movie_name = scrapy.Field()

# 电影的名称

introduce = scrapy.Fi

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是爬取豆瓣电影的简单示例: 1. 首先,我们需要安装Scrapy。可以在命令行中使用以下命令进行安装: ``` pip install scrapy ``` 2. 创建一个Scrapy项目。在命令行中使用以下命令创建一个项目: ``` scrapy startproject douban_movie ``` 这将创建一个名为`douban_movie`的文件夹,其中包含了Scrapy项目的基本结构。 3. 创建一个Spider。在Scrapy中,Spider是用于定义如何爬取网站的类。我们可以创建一个Spider来爬取豆瓣电影信息。在`douban_movie/spiders`文件夹下创建一个名为`douban_spider.py`的文件,并添加以下代码: ```python import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): pass ``` 在上面的代码中,我们定义了一个名为`DoubanSpider`的Spider,并设置了起始URL和允许的域名。在`parse`方法中,我们将会编写解析响应的代码。 4. 编写解析代码。在`parse`方法中,我们需要编写代码来解析响应并提取我们需要的信息。以下是一个简单的例子,用于提取豆瓣电影Top250中每个电影的名称和评分: ```python import scrapy class DoubanSpider(scrapy.Spider): name = 'douban' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): for movie in response.xpath('//div[@class="info"]'): yield { 'title': movie.xpath('a/span[@class="title"]/text()').extract_first(), 'rating': movie.xpath('div[@class="star"]/span[@class="rating_num"]/text()').extract_first(), } ``` 在上面的代码中,我们使用XPath来提取电影名称和评分,并使用`yield`将结果返回给Scrapy框架。 5. 运行Spider。在命令行中使用以下命令来运行Spider: ``` scrapy crawl douban -o movies.csv ``` 在上面的命令中,`douban`是Spider的名称,`movies.csv`是我们将结果保存到的文件名。运行完成后,我们将在当前目录下找到一个名为`movies.csv`的文件,其中包含了豆瓣电影Top250中每个电影的名称和评分。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值