爬虫入门Demo(二)---抓取豆瓣电影Top205

最新推荐文章于 2021-05-28 11:22:14 发布
最新推荐文章于 2021-05-28 11:22:14 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： python 有趣的python小项目 文章标签： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stormdony/article/details/79917645
版权
本文介绍了使用Python爬虫抓取豆瓣电影Top250的过程，包括观察网页结构，发现网址变化规律，编写爬虫代码，并在MongoDB中存储数据。在实际操作中需要注意异常处理，确保爬虫稳定运行。
摘要由CSDN通过智能技术生成

本来前几天就把豆瓣Top250的电影抓取下来了,但是一直没有时间来写博客,现在终于腾出一点时间来好好整理一下了

1.观察网页结构

首先需要登录豆瓣的网站:https://movie.douban.com/top250 ,通过审查元素,可以看到豆瓣的电影都是很整齐的放在li 里面,所以很方便我们爬取数据
这里写图片描述

通过展开第一个li ,可以看到我们需要的数据
这里写图片描述

2.观察网址的变化

通过点击页面的页数,我们发现网址也是很有规律的变化的,嘻嘻,是不是有种这个网站就是为爬虫而生的感觉
点击第二页时网址是 : https://movie.douban.com/top250?start=25&filter=
点击第三页时网址是 : https://movie.douban.com/top250?start=50&filter=

最低0.47元/天 解锁文章
DonLex
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
手把手带你学python爬虫
12-05
课程名称：手把手带你学会Python爬虫课程特色：大量的课堂案例，让你解决疑难杂症能力更上一层楼学习建议：建议懂前端基础和后端基础的人观看课程简介：课程包含urllib、requests、正则、xpath、bs4、selenium、js破解、滑动验证码、模拟登陆、字体破解、多任务爬虫、Scrapy框架、分布式爬虫、增量爬虫、代理池、手机抓包、爬虫部署等知识。还等什么？快来让幽默老司机手把手带你学会Python爬虫吧。
C#AngelSharp爬取豆瓣组及微博组所有帖子
sailingopq的博客
12-28 713
C# AngelSharp爬取豆瓣组及微博组所有帖子 以前没写过爬虫，百度了豆瓣、微博爬取，得到的答案基本都是几年前事了，没多少可用的信息，就自己研究了下，做下整理，以下仅放出关键解析代码，有需要软件源码的回复下，足够多就放出链接。 注意：在爬取时设置一个延时时间，使用Task.Delay()设置个几秒，不设置爬取不了几个帖子就会被封杀IP，需要更换代理才能继续 //通过组url获取所有帖子 var config = Configuration.Default.WithDefaultLoader(); //
fiddler抓包分析豆瓣250
墨渊的博客
05-28 457
使用fiddler进行抓包分析 打开fiddler设置认证证书 fiddler证书地址 开始使用fiddler进行分析 鼠标点击刚刚哪个请求右键选中copy这个选项在选择Just URL这个选项拷贝url地址我们把拷贝的url复制过来到浏览器看一下 这里可以看到我们要的数据就在网页里面 page_limit=20这里是 偏移量的意思这里面可以改变他的值提取最大 一页就是20个数据 page_start=0 这里是指的是页数 当前第几页 ** . 代码如下 import requests impo
C# 通过豆瓣API简单获取豆瓣书籍信息(源代码)
05-03
资源主要是结合博客文章:http://blog.csdn.net/eastmount/article/details/24850315主要讲述使用C# 系统应用之通过豆瓣API获取书籍信息,实现的方法是通过HTTP发送获取XML信息,再读取其标签实现获取信息及书籍封面图片. 采用VS2012开发,向下不兼容,仅是一篇基础性文章,可以参考如何获取XML中结点的方法和URL中的图片.每分钟建议访问不超过10次(申请Key 40次),否则会被暂时403封IP.程序运行后输入：http://api.douban.com/book/subject/1220562可看到运行效果. 建议结合博客文章阅读
爬虫的Demo--按照不同模块上传.zip
最新发布
03-01
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
微信小程序Demo：豆瓣电影-测试案例
03-17
在这个“微信小程序Demo：豆瓣电影-测试案例”中，我们将探讨如何利用微信小程序开发工具创建一个以豆瓣电影为主题的交互式应用。 首先，我们要了解微信小程序的基本结构。一个小程序由多个页面组成，每个页面包括...
CrawlerDemo:爬虫的Demo--按照不同模块上传
03-19
希望看到的朋友，请点个 :...爬虫的Demo--按照不同模块上传 发布的计划如下： 01网络请求 02数据解析，存储 03爬虫进阶 EmojiDemo--爬取表情包 拉勾爬取 04 Scrapy的使用 糗事百科爬取 欢迎关注公众号「程序员大咖秀」
Dubbo入门---搭建一个最简单的Demo框架
02-24
Dubbo开始于电商系统，因此在这里先从电商系统的演变讲起。1.单一应用框架(ORM)当网站流量很小时，只需一个应用，将所有功能如下单支付等都部署在一起，以减少部署节点和成本。缺点：单一的系统架构，使得在开发过程...
微信小程序demo--豆瓣电影
10-21
"微信小程序demo--豆瓣电影"是一个基于微信小程序开发平台构建的示例项目，旨在帮助开发者理解和学习如何在微信小程序环境中开发功能丰富的应用程序。 该项目的核心目标是展示如何构建一个模仿豆瓣电影的首页和详情...
重磅：豆瓣电影ID大全
02-25
电影，电视剧，综艺等影视资源豆瓣ID，部分链接需要登录豆瓣才能打开哦~！ 共计8W多条，适用于豆瓣信息采集！
豆瓣电影爬虫数据(整理后)
11-05
豆瓣电影数据，经过详细的整理，可以将excel文件直接导入到sqlserver中，亲测可用
AntSpider:1000万豆瓣电影评论名人评分数据采集子系统分享（内含千万电影数据集，可下载）
03-22
10M电影数据采集说明 介绍 本项目是针对豆瓣电影，名人，书籍，评论于一体的爬虫项目，关于爬虫的代码细节，笔者正在整理中，还请读者见谅。项目配置代理之后，将并发数上调，在Mac单机上面，不用一晚上就可以爬取300万的影评数据（电影+演员+评论），如果没有代理，就另当当论论啦。的，但是不太好用，笔者花了几十个块从代理商买了一周，足够用了。这里就不专门给代理商打广告了，如读者需要我推荐相关代理，可在关注笔者的公众号，在公众号留言即可，笔者每天都会回复的。 数据爬取流程说明 首先爬取电影/书籍的subject_id，即douban_id，然后通过douban_id爬取电影/书籍相关评论信息。由于在爬取电影数据的时候，我们将演员和ID保存在了数据库里面，因此在爬取演员信息的时候，需要将演员的ID和姓名从电影数据库中撤出。 使用方法 1.克隆代码 git clone https://github.c
调用豆瓣API抓取图书信息的php文件
10-07
自己山寨的豆瓣网站的部分源码，主要利用了豆瓣的API来获取书籍的名称、作者、封面等资料，值得借鉴！
爬虫-爬取豆瓣最新电影短评
09-20
-爬取豆瓣最新电影短评-
一步解决豆瓣防止火车头采集的问题
mmz8的专栏
08-29 1238
前些时间用火车头采集豆瓣的资料，采得好好的昨天就无法采集了。朋友们都说换IP就可以采了，但是我换了IP采集了一条，又不能采了。所以今天我自己拿火车头设置了一下，没想到就可以正常的采集了。怎么采集设置请先看下面的图片吧。 在网页登录信息这里，设置一下自己的COOKIE,然后UA设置成用户本地IE浏览器，然后保存，搞定。 ...
豆瓣影评数据抓取
热门推荐
No.96
11-22 1万+
抓取豆瓣影评评分正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=20&sort=new_score&status=P&percent_type=里面有用的也就是start和limit参数，我尝试过修改limit参数，但是没有效果，可以认为是默认的 start参数是用来设置从第几条数据开
苹果CMS8X 豆瓣资料采集API 需要自己搭建单独的域名.rar
08-27
苹果CMS8X 豆瓣资料采集API 自己搭建单独的域名 建议使用HTTPS安全模式 把里面的index.php文件上传到新站首页 后台添加下面伪静态规则 location / { index index.php; try_files $uri @rewriteapp; } location @rewriteapp { rewrite ^(.*)$ /index.php/$1 last; } 然后把里面的vod_info.html文件上传到苹果CMS 8X的管理后台目录里。 对应的目录位置/admin/tpl/html/vod
基于python豆瓣自定义电影抓取2.0
10-01
相较于版本1.0更新说明 ---- 1.新增CMD版本的打包处理 2.新增存入word操作。 3.新增预告片链接，新增推荐相关电影。 4.自由度加强，可自定义对评论，简介，写入存储，推荐，计时(针对cmd版本)等采集开关，采集何种数据真正自由选择。 5.简化代码，优化代码结构，更加清晰明了富有逻辑(自认为) 更多请详见我的博客，谢谢
RealEvo-IDE与SylixOS集成开发环境快速入门指南
"该文档是关于SylixOS RealEvo-IDE的快速入门指南，主要讲解如何使用这个集成开发环境进行工程创建和设备设置。在实际操作中，可能会遇到没有设置虚拟网络适配器的问题，这会影响在app_demo工程中的设备配置。通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值