第一次写爬虫程序爬取豆瓣5W条电影数据

最新推荐文章于 2024-04-21 15:05:18 发布
最新推荐文章于 2024-04-21 15:05:18 发布
阅读量2.8k 收藏 12
点赞数 1
分类专栏： 数据分析 文章标签： 爬虫 Java 豆瓣 httpClient
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxd_113/article/details/86362529
版权
本文详细介绍了如何使用Java和httpclient爬取豆瓣电影数据，包括网页分析、数据库表结构设计、代码实现以及应对反爬策略。作者通过设置动态User-Agent、使用代理IP、控制请求频率等方式成功获取了5W条电影数据，并提供了源码链接。
摘要由CSDN通过智能技术生成

第一次写爬虫程序爬取豆瓣5W条电影数据

最近工作比较不是很忙，想到之前使用httpclient和jsoup爬取过一次豆瓣电影TOP250，但总觉得数据量太小，不过瘾。于是趁着最近不是很忙的机会，重新写了个爬虫，目标是豆瓣里所有的电影数据！
完整源码请参考lixiaodongisme的github

网页分析

首先观察一下豆瓣的网页，看看该如何入手。为了获取到所有的电影数据，我找到了这个页面https://movie.douban.com/tag/#/。页面大概如下所示。
在这里插入图片描述
因为我们的目的是获取所有影视相关的数据，所以影视的类型、年代等标签，我们都选择全部即可。通过点击加载更多，就可以获得更多的数据。接下来我们通过浏览器抓包，看能不能找到一些规律，可以让我们的程序去自动采集信息。抓包后我们发现点击加载更多，实际是发送了一个异步的GET请求，默认带四个参数，如图所示。
在这里插入图片描述
我们可以看到有一个start参数，第一次访问时，start是0，点击加载更多后，变为

最低0.47元/天 解锁文章
Mr晓
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬取豆瓣网电影的数据信息
henusyb的博客
04-20 986
爬取豆瓣网电影的数据信息 # -*- coding: utf-8 -*- import requests import json from bs4 import BeautifulSoup def get_page(): # 1. url url= 'https://movie.douban.com/cinema/nowplaying/kaifeng/' # 2. 请求时...
Python 爬取 B 站 5000 条视频，揭秘为何千万人为它流泪！
人生苦短， 还不用Python？
10-22 842
这个夏天，《哪吒之魔童降世》碾压其他暑期档电影，成为最强黑马。我身边的朋友，不是已经N刷了这部电影，就是在赶去N刷的路上。从票房上也可窥见一斑： 数据爬取 在浏览器开发者模式CTRL+F很容易就能找到所需要的信息，就在页面源码中： 因此我们用beautifulsoup库就能快速方便地获取想要的信息啦。 因为B站视频数量有限定，每次搜索只能显示20条*50页=1000个视频信息。 为了尽可能多...
爬虫：大淘客（淘宝商品数据) 5000--10000条数据
Captain_DUDU的博客
11-08 7378
import requests import csv from lxml import html import requests import time import json listJson=[] JsonName='第5次DATAOKEdata.json' kv = {'User-Agent': 'Mozilla/5.0'} cid = 1 contYM = 0 # http://www.d...
python数据爬虫代码_python爬虫 30行代码爬取500万数据
weixin_39950764的博客
11-25 324
爬虫小编就不介绍了，不知道同学可以看我一起发表的文章。今天我要讲的是30行代码爬取500W数据你们会想小编是在吹牛逼吧，我想说的是集中你们的注意力吧！接下来看小编来表演首先我来讲一下我们今天要爬取数据是什么是什么呢没错就是 小说小说 小说 小说 重要的事情说三遍不是一本小说而是一个小说网站的所有小说500W本小说，你没有听错就是500万本小说我用这500万小说建了一个自己的小说网羡慕吗 ...
爬虫-豆瓣电影数据提取
qq_39852142的博客
08-06 565
import requests import re import json def get_one_page(url): headers={‘User-Agent’:’ Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36’}...
爬虫练习-爬取豆瓣电影TOP250的数据
莫莫先生的博客
01-04 3533
前言： 爬取豆瓣电影TOP250的数据，并将爬取的数据存储于Mysql数据库中
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影(1)
最新发布
2401_84009626的博客
04-21 1065
前面说过，每个li标签下都是一部电影的信息，一个页面有25部电影，那么就应该有25个li标签，我们可以通过li标签的下标定位获取到不同的li标签。以上就是我们获取一部电影数据的过程，接下来要获取一个页面的全部电影信息，然后通过循环翻页，获取不同页面的电影信息。需要嵌套循环，第一层循环通过改变data参数中的start的值来实现翻页，第二层循环则是遍历每个页面中的li标签，获取该页面每一部电影的数据。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。
python爬取豆瓣短评_爬虫-爬取豆瓣短评
weixin_39758953的博客
11-28 886
爬虫-爬取豆瓣短评啥是爬虫？​按照一定的规则，自动地抓取互联网信息的程序。为啥要用爬虫？​可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索怎么用爬虫？爬虫分为三个部分1、解析网页2、提取信息3、保存信息接下来将会用requests库来实现一个简单地爬虫爬取豆瓣短评首先我们需要安装requests库我们可以cmd指令进入p...
python-爬虫爬取豆瓣Top250电影数据
Vivinia的博客
05-17 2813
目标效果： 代码： #-*- codeing =utf-8 -*- #################引入模块################# from bs4 import BeautifulSoup #网页解析，获取数据 import re #正则表达式， import urllib.request,urllib.error #制定URL，获取网页数据 import xlwt #进行excel制作 #################定义变量###############..
python爬虫五万条UA
08-26
手机电脑端的都有，5万条+ wap:Mozilla/5.0 (iPhone; CPU iPhone OS 12_1_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 MQQBrowser/8.9.9 Mobile/16C101 Safari/604.1 MttCustomUA/2 QBWebViewType/1 WKType/1 wap:Mozilla/5.0 (iPhone; CPU iPhone OS 12_1_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 MQQBrowser/8.9.9 Mobile/16C101 Safari/604.1 MttCustomUA/2 QBWebViewType/1 WKType/1 wap:Mozilla/5.0 (iPhone; CPU iPhone OS 12_1_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 MQQBrowser/8.9.9 Mobile/16C101 Safari/604.1 MttCustomUA/2 QBWebViewType/1 WKType/1
豆瓣5万条影评数据集
07-04
本宝宝采集的豆瓣5万条影评原始数据集，希望大家积极下载，尊重宝宝的劳动成果，后期有时间我还为大家提供数据集哈。 机器学习，nlp，深度学习的宝宝赶快看过来，看过来哈。 数据集格式： title##star##comment 电影名称##评论星级（1-5星）##评论内容
豆瓣电影爬虫数据(整理后)
11-05
豆瓣电影数据，经过详细的整理，可以将excel文件直接导入到sqlserver中，亲测可用
python爬虫requests一万条数据_爬虫实践之爬取10000条菜谱数据
weixin_39783149的博客
11-23 2037
爬虫实践之XX行代码爬取10000菜谱数据什么是爬虫爬虫：又叫做网络蜘蛛，是一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。如何合法地爬虫有些网站不允许网络爬虫，或是对可爬取的内容做了限制，一个网站的爬虫协议可通过访问该网站的robots.txt文件获得以豆瓣网为例可以看到，豆瓣对于不同的访问者有不同的访问限制，其中对于用户名为 Wandoujia Spider的访问者，豆瓣不允...
爬虫实战—轻松爬取全国40城5000+地铁站点数据！附源码和数据集
小一的博客
04-28 6399
原文链接：小一教你轻松爬取全国40城5000+地铁站点数据！附源码和数据集 大家好，我是小一 上一篇文章讲了一个失败的数据分析案例，导致失败最最主要的原因就两个字：数据 有时候，爬虫爬到的数据是很珍贵、很稀缺，但是在实际项目最好还是多点谨慎，保证万无一失。 今天介绍一种新的 获取城市地铁站点数据的方法，而且不再只是北上广深四个城市，而是 全国开通地铁的城市。 对了，你觉得全国有多少个城市开通了地铁？ 正文 今天爬取数据的链接是：http://map.amap.com/subway/index.html.
Python爬虫 爬取酷狗TOP500的数据
Hibiki's Ending
11-13 4832
根据书籍《从零开始学Python网络爬虫》P41，综合案例2—爬取酷狗TOP500的数据修改而来. 使用模块requests和模块BeautifukSoup进行爬取. 不得不说，酷狗拿来跑爬虫真是好，不ban不限制IP~ 要爬取的页面信息 酷狗TOP500 需要爬取的信息很少：1.排名 2.标题(歌名-歌手) 3.时长 每页22条信息,需要爬取500/22≈23页 虽然没有手动翻页下一步浏览...
网络爬虫实战（三）：爬取豆瓣、猫眼流浪地球数万条评论信息
老肥码码码
02-17 5070
春节如约而至，随着消费水平的提高，越来越多的人们走进电影院，观看春节档电影。去看啥电影，先看看网友们的评分评论也是非常有必要的，于是前几天遍想到用爬虫去爬取一些有用的信息。 爬取豆瓣电影评论 可以看得出，流浪地球的评分遥遥领先，那我们便去一探究竟，来到豆瓣网搜索影评 https://movie.douban.com/subject/26266893/comments?start=2...
豆瓣python游戏编程-Python 爬取 3 万条游戏评分数据，找到了程序员最爱玩的游戏（附代码）...
weixin_39722070的博客
11-11 335
"""各类型游戏分析"""# 各类型游戏数num = len(dataall.name.unique())result = dataall.groupby("type").count()["name"].reset_index().sort_values("name",ascen...
最新python爬虫抓取新浪微博千万级数据，scrapy思路+架构+源码
热门推荐
Weiker的博客
08-17 1万+
一、前期工作... 3 1.1 爬取目标... 3 1.2 准备工作... 3 1.3 爬取思路... 3 1.4 爬取分析... 3 二、项目实战... 5 2.1 新建项目... 5 2.2 创建Item.. 6 2.3 提取数据... 8 2.4 数据清洗... 12 2.5数据存储... 13 2.6 Cookies池对接... 15 2.7代理池对接... 15 ...
Python爬虫框架Scrapy实践：爬取豆瓣电影数据
Scrapy 框架的工作流程是：首先我们将入口 url 交给 spider 爬虫，爬虫通过引擎将 url 放入调度器，经调度器排队之后返回第一个请求 Request，引擎再将请求转交给下载器进行下载，下载好的数据交给爬虫进行爬取，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值