解决：python爬取豆瓣电影遇到的KeyError: 'subject_collection_items'错误

最新推荐文章于 2024-01-10 11:08:53 发布
最新推荐文章于 2024-01-10 11:08:53 发布
阅读量3.2k 收藏 3
点赞数 3
分类专栏： python 文章标签： KeyError 爬虫 豆瓣 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/likunkun__/article/details/89323202
版权

今天在学习爬虫，爬取豆瓣电影的一些json资料存到本地的时候遇到了一些问题，先解释一下：

在豆瓣手机版的“正在热映”页面里可以找到一些包，里面有当前页的内容（json格式）：

所以requests模块可以去爬这些下来：

 找到url，然后找到提交规律url里是用的start来表示当前页面显示的是哪些片。

还可以找到数据都放在subject_collection_items下面：

最低0.47元/天 解锁文章
昆昆欧粑粑
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
python爬虫遇到的一些杂七杂八的问题
知易行难的博客
12-12 1895
周末闲来无事，写了几个爬虫程序，主要是爬图片网站的图片，还有豆瓣top250的名字和评分 具体的全部源码单独写一篇进行展示，这里只记录一下写爬虫期间遇到的一些杂七杂八的问题 1.HTTPError: Forbidden 这个主要就是爬豆瓣的时候，访问可能太频繁了，被认出来是爬虫，就拒绝访问了 解决方法主要就是： ①换个ip，不过我是手机热点，重连了依然如此，更换代理ip也是如此，可能是我代码的问题 ②把代码里面agent的部分换一下，比如我的之前是： opener.addheaders=[('
python爬取豆瓣电视剧遇到的KeyError: 'subject_collection_items'错误
qq_44739762的博客
09-21 1533
1、问题 想要爬取豆瓣手机版的热播剧页面中的英美剧页面的内容，在将豆瓣电视剧的json 字符串保存到本地的时候报错：KeyError: ‘subject_collection_items’。 2、过程 通过查找，在以idems开头的url请求中找到了页面所包含的数据。 找到url里是用的start来表示当前页面显示的是哪些电视剧。 可以看到数据在这个subject_collection_it...
当爬取量很大时，获取爬虫响应数据字典数据KeyError异常问题
qq_42126355的博客
04-21 2766
在获取响应中的数据时，使用get方法获取数据程序会更稳定dict.get（key） 如下图Cookie为一开始就定义的变量 Cookie{ ‘JSESSIONID’：‘’ } 所以使用Cookie[key]不容易出现异常，但是requests.utils.dict_from_cookiejar(response4.cookies).get(‘JSESSIONID’)中，是获取响应数据字典中的数据，...
python 提示 keyError 的4种解决方法
学长的猫的博客
07-20 18万+
https://blog.csdn.net/u011089523/article/details/72887163 在读取dict的key和value时，如果key不存在，就会触发KeyError错误，如： Python t = { 'a': '1', 'b': '2', 'c': '3', } print(t['d']) 就会出现： <code class="language-plain hljs" style="f
Python爬虫json解析问题处理
Vargent_的博客
03-21 1354
3.在Headers—Request Headers中可以找到对应的Cookie （那一大串）），按链接博主所给出的代码遇到了json解析问题，最终通过添加cookie的方式解决了问题。注意这里的url和之后所需要的cookie是对应的，获取url的方式可以参考上面的文章。我在12306中选择的需要爬取的数据为从上海——北京的车票信息，对应的url为。2.按Ctrl+R加载数据并找到图示信息后选中双击。1.在12306界面按F12打开控制台。在用爬虫获取12306的车票信息时（说白了就是json解析报错。
python入门--常见的异常类型，常见错误
周周的博客
03-01 477
''' 1.ZeroDivisionError-->除零或取模零（所有数据类型） 2.IndexError-->序列中没有此索引（index） 3.KeyError-->映射中没有这个键 4.NameError-->未声明/初始化对象（没有属性） 5.SyntaxError-->Python 语法错误 6.ValueError-->传入无效的参数 ''' ##########################################3 ''' print(10/0.
Python实现的爬取豆瓣电影信息功能案例
01-21
本文实例讲述了Python实现的爬取豆瓣电影信息功能。分享给大家供大家参考，具体如下： 本案例的任务为，爬取豆瓣电影top250的电影信息（包括序号、电影名称、导演和主演、评分以及经典台词），并将信息作为字典形式...
用Python爬取豆瓣电影分类排行榜（保存至本地）
08-08
用 Python 爬取豆瓣电影分类排行榜并保存到本地excel文件 作者博客：https://blog.csdn.net/weixin_52132159 文章链接：https://blog.csdn.net/weixin_52132159/article/details/119505289
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel
12-21
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel 具体数据：电影链接、电影名称、电影评分、评分人数、电影概括 import pymysql import xlwt from bs4 import BeautifulSoup from urllib import request ...
Python爬虫实例：爬取豆瓣电影TOP250
最新发布
04-28
Python爬虫实例：爬取豆瓣电影TOP250
Python豆瓣爬虫详解
bagell的博客
01-10 1478
有没有过周末为看什么电影焦虑，今天手把手教学爬取豆瓣电影评分！0，当我们打开一个网站的时候这个时候网站给到我们一个cookies，这个cokkies可能是多个参数或一个参数，然后我们再浏览其他的页面的时候网站会校验cookies等信息确认是不是还是一个同一个用户再访问。那么再说模拟登录的时候我们获取到验证码怎么让他再登录的时候也认为是我们就是拿验证码的人呢，就用到会话保持，但是又一些公司为了方式爬虫会禁止sess传递cookies。那么怎么搞了。这里留个彩蛋大家自己研究研究之后有了好案例我再更。
python豆瓣电影需研究的问题_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
weixin_39940182的博客
11-28 191
def getHtml(url):"""获取url页面"""headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = urllib.request.Request(url,h...
[python]Collections模块介绍
tankloverainbow的博客
10-27 1106
Collections模块中的每一个类都是为了补充python内置数据类型list和dict的功能，在某些特性情况下使用Collections中的类将取得更好的效果。 Collections模块中所包含的类： namedtuple() factory function for creating tuple subclasses with named fields deque l...
统计本段话的高频词汇——报错：KeyError
qq_52565672的博客
12-08 966
编写程序，实现用户随机输入一段话，统计本段话的高频词汇。
Python字典查找报Keyerror解决方法
热门推荐
幸运的Alina的博客
07-18 29万+
Python的字典一般都直接查找key ，比如 dict={'a':1,'b':2,'c':3} print(dict['a']) 但是如果在查找的key不存在的时候就会报：KeyError: 比如你要查看print(dict['d']) 由于这个时候dict里面并没有这个key ,所以就会直接报错，那么这个时候其实python给我们提供了一种很棒的解决方法，那就是用 setdefa...
Python编程基础之九错误和异常
乌托邦
03-09 1万+
一、简介       文件存储是长久保存数据很重要的方式，Python的文件处理和相关输入输出能力直接影响系统的性能，了解文件对象（包括内建函数、方法和属性）、标准文件、文件系统的访问方法、文件执行和相关的模块都是很有必要的。 二、详解 1、文件对象         文件对象不仅可以用来访问普通的磁盘文件，而且也可以访问任何其它类型抽象层面上的"文件"。一旦设置了合适的
KeyError: 'Spider not found:name一样，为何还是找不到spider 多种解决方案，总有一个适合你！
weixin_41931602的博客
08-17 2万+
第一种：运行的main文件中的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可 第二种：爬虫文件夹中缺少__init__文件，一开始是直接在spider文件夹下创建的爬虫文件，然后把多个爬虫文件放进stt的文件夹中，运行main文件就不行了，原因就是在粘贴复制时漏了__init__文件。 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 3第三种...
scrapy KeyError: 'Spider not found: doubanmovie' FAQ
sakila的专栏
09-09 5590
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "D:\anzhuang\Anaconda\lib\site-packages\spyderlib\widgets\externalshell\sitecustomize.py", line 682, in runfile execf
python爬取豆瓣电影评论_Python爬取豆瓣电影的短评数据并进行词云分析处理
06-02
以下是一个简单的Python爬取豆瓣电影评论的示例代码： ```python import requests from bs4 import BeautifulSoup from wordcloud import WordCloud # 豆瓣电影评论页面的URL url = '...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值