【Scrapy框架（一）】爬取豆瓣电影

最新推荐文章于 2024-05-19 11:06:20 发布
最新推荐文章于 2024-05-19 11:06:20 发布
阅读量2.1k 收藏 17
点赞数 2
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fangqileo/article/details/121445128
版权

爬虫入门之后一定要掌握的就是scrapy框架。这个框架不仅本身就是基于twisted进行异步爬取，而且还有很强的拓展性、灵活性，后期进行商业性质的爬取可以部署分布式爬取。

scrapy框架核心部分不过四个

  • spider
  • settings
  • pipeline
  • items

当然，在熟练使用后middleware也是要掌握的。

今天用最简单的代码爬取一下豆瓣电影

 

 

命令行startproject 以及genspider这里不做赘述，直接进入爬虫project文件中写代码。

首先在items.py中声明爬取的item，也就是我们爬取的目标内容。

本次我们爬取的内容为

  • 电影名（title）
  • 分数
  • 时长
  • 导演
  • 演员
import scrapy


class DbreyingItem(scrapy.Item):
    # define the field
最低0.47元/天 解锁文章
fangqileo
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 实现二叉树前序，中序，后序，零基础也能看得懂
m0_67621628的博客
03-17 666
self.element = element self.l_child = l_child self.r_child = r_child class Tree(object): “”“树类”"" def init(self): self.root = Node() self.queue = [] def add_node(self, element): “”“为树添加节点”"" node = Node(element) 如果树是空的，则对根节点赋值 if self.root.element == -1: s
scrapy初步-简单静态爬虫(爬取电影天堂所有电影)
2401_84003690的博客
04-08 999
1:scrapy部署:我是在阿里云的centos+python2.7的环境下部署的scrapy。本人比较习惯使用python3.6.1。之前写爬虫程序的时候最经常用的是urllib.request库,其他要用到的模块在各个python版本大同小异。用python2.7的原因是linux自带的python版本默认是次版本，而我在编译安装python3.6的时候环境安装不全，导致安装scrapy之后创建工程的时候提示找不到_sqlite模块，索性直接用2.7 pip install scrapy搞定，安装过程中
Python利用Scrapy框架爬取豆瓣电影示例
09-18
主要介绍了Python利用Scrapy框架爬取豆瓣电影,结合实例形式分析了Python使用Scrapy框架爬取豆瓣电影信息的具体操作步骤、实现技巧与相关注意事项,需要的朋友可以参考下
Scrapy使用案例——爬取豆瓣Top 250电影数据
2301_80239908的博客
12-30 1876
Scrapy是一个基于Python的强大的开源网络爬虫框架，用于从网站上抓取信息。它提供了广泛的功能，使得爬取和分析数据变得相对容易。强大的数据提取工具，支持XPath和CSS选择器。简化的HTTP请求和响应处理。可配置的下载中间件，用于处理不同类型的请求。数据存储支持，包括JSON、CSV、XML等。并发请求管理，提高效率。
使用Scrapy提取豆瓣电影信息
最新发布
weixin_64411916的博客
05-19 743
Scrapy是一个适用于Python的快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy是一个框架，可以根据需求进行定制。它提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本还提供了web2.0爬虫的支持。
Scrapy实战- Scrapy框架爬取豆瓣电影top250
qq_42803848的博客
01-05 4495
scrapy框架 爬取豆瓣电影排名，数据保存至MySQL数据库中
Python爬虫爬取豆瓣电影短评（爬虫入门，Scrapy框架，Xpath解析网站，jieba分词）
cqbzcsq的博客
09-25 2844
很久之前就想学爬虫了，但是一直没机会，这次终于有机会了 主要参考了《疯狂python讲义》的最后一章
Python爬虫零基础（以爬豆瓣电影top250为例，尝试自己写爬豆瓣读书top250的代码）
qazwsxedc__1的博客
08-30 1466
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Scrapy 框架获取豆瓣电影的信息(包括图片)和电影评论-1
Cappuccino_Luo的博客
01-05 2077
Scrapy 框架获取豆瓣电影的信息(包括图片)和电影评论存入 mongodb
scrapy爬虫框架教程（二）-- 爬取豆瓣电影TOP250
weixin_34364135的博客
02-28 1501
scrapy爬虫框架教程（二）-- 爬取豆瓣电影TOP250 前言 经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。 工具和环境 语言：python 2.7 IDE： Pycharm 浏览器：Chrome 爬虫框架：Scrapy 1.2.1 教程正文 观察页面结构 首先我们打开豆...
Scrapy爬取豆瓣页面
cxylvping的博客
06-07 1284
1.在items.py中定义字段，这些字段用来保存数据，方便后续的操作 import scrapy class MovieItem(scrapy.Item): rank = scrapy.Field() # 排名 title = scrapy.Field() # 名称 score = scrapy.Field() # 评分 2.修改settings.p...
Scrapy爬虫框架教程（二）-- 爬取豆瓣电影TOP250
02-11
经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。 工具和环境 语言：python 2.7 IDE： Pycharm 浏览器：Chrome 爬虫框架：Scrapy 1.2.1 https://zhuanlan.zhihu.com/p/24769534?refer=woodenrobot
Python scrapy爬取豆瓣电影top250
03-12
Python scrapy爬取豆瓣电影top250，非常简单，2分钟搞定
Python-pythonscrapy爬取电影天堂所有电影
08-12
python scrapy爬取电影天堂所有电影
python爬取豆瓣电影top250_Python爬虫——爬取豆瓣电影Top250代码实例
weixin_39917090的博客
11-27 1014
利用python爬取豆瓣电影Top250的相关信息，包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容，然后将爬取的信息写入Excel表中。基本上爬取结果还是挺好的。具体代码如下：#!/usr/bin/python#-*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencod...
python爬取信息获取代码乱码_Python爬取豆瓣电影Top250源代码
weixin_39765100的博客
01-15 1080
本文使用Python爬取豆瓣电影Top250，含完整源代码，并实现两种方式保存数据(excel和数据库)主要分为四步：1、获取页面源代码；2、获取标签；3、正则表达式匹配；4、保存数据。先上完整代码，后面再对重点部分进行解析。程序运行截图：from bs4 import BeautifulSoup #页面解析,获取数据import re #正则表达式import urllib.r...
scrapy实战爬取电影天堂相关信息
海峰的博客
11-27 2276
大名顶顶的电影天堂一直是我等舍不得钱看某些电影的好去处，这次我们攻略她，爬取她的下载链接和其他的一些数据，放在mongodb里面。 先上代码，在http://download.csdn.net/download/u013692888/10135153。# encoding: utf-8 import scrapyfrom scrapy import Selector from scrapy imp
scrapy爬取电影网站
hello_SW的博客
12-02 716
new_movie.py 定义爬虫 import scrapy import re import urllib from ..items import NewMovieItem class new_movie(scrapy.Spider): name='new_movie' start_urls=['http://www.87movie.com/tag/喜剧'] allowed_d
python利用scrapy框架爬取豆瓣电影示例
09-23
使用Python的Scrapy框架可以非常方便地爬取豆瓣电影的数据。下面是一个简单示例： 首先，我们需要创建一个新的Scrapy项目。在命令行中执行以下命令： ``` scrapy startproject douban_movies ``` 接下来，进入项目目录： ``` cd douban_movies ``` 然后，我们可以创建一个名为`movies`的Spider来定义我们想要爬取的网页和处理数据的逻辑。在项目目录下执行以下命令： ``` scrapy genspider movies movie.douban.com ``` 这会在`spiders`目录下生成一个名为`movies.py`的文件。我们可以在这个文件中编写爬虫代码。 首先，我们需要定义要爬取的网址，在`start_urls`中添加豆瓣电影的首页地址： ```python start_urls = ['https://movie.douban.com/'] ``` 然后，我们需要定义如何解析网页和提取数据。我们可以使用XPath或CSS选择器来定位需要的数据。这里以使用XPath为例： ```python def parse(self, response): # 提取电影名字 movie_names = response.xpath('//div[@class="hd"]/a/span/text()').extract() for name in movie_names: print(name) # 提取评分 scores = response.xpath('//span[@class="rating_num"]/text()').extract() for score in scores: print(score) ``` 在上面的代码中，我们使用XPath选择器来提取电影的名字和评分，并打印出来。你可以根据需要修改这部分代码，比如将数据保存到数据库或文件中。 最后，在命令行中执行以下命令来运行爬虫： ``` scrapy crawl movies ``` 以上就是使用Python的Scrapy框架爬取豆瓣电影的简单示例。你可以根据自己的需求进一步扩展和优化这个爬虫，比如添加翻页功能或处理更复杂的网页结构。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值