用Python抓取猫眼,豆瓣,知乎,微博的评论，来看看《复联4》大家都怎么评论的？|凹凸数读

最新推荐文章于 2023-10-24 20:14:57 发布
最新推荐文章于 2023-10-24 20:14:57 发布
阅读量1.5k 收藏
点赞数
分类专栏： 凹凸数读 数据分析 文章标签： 数据分析 数据可视化 python 电影 复联4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aotodata/article/details/89640919
版权

使用Python抓取猫眼，豆瓣，知乎，微博的评论，来看看《复联4》大家都怎么评论的？

首映当天微博热搜相关词条上榜23个，豆瓣评分开分9.2，猫眼讨论区评论达10万条以上。
那么这几天第一批看完《复联4》的观众，到底在聊的是什么呢？
我们爬取了豆瓣和猫眼的《复仇者联盟4》短评——
知乎“如何评价电影《复仇者联盟4：终局之战》？”问题下的答案——
以及微博@漫威影业发布的零点场票房相关微博——

将这些评论以复联标志为背景制作成词云图，来看看不同的平台上，关于《复联4》，大家都在聊什么。
在这里插入图片描述
词云图评论的平台分别来自
在这里插入图片描述
本文较多图文就不一一放上来，详见公众号推文：
凹凸数读：用Python抓取猫眼,豆瓣,知乎,微博的评论，来看看《复联4》大家都怎么评论的？
公众号关注“凹凸数读”，后台回复“复联4”获取源数据和词云代码

凹凸数读
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python 登录新浪微博_Python模拟新浪微博登录
weixin_42516414的博客
02-03 920
最近实验室的项目，需要一些真实的数据，而我们选择了从新浪微博抓取数据。对于新浪微博来说，只要登录了以后，微博以及关注和被关注等等信息才是可见的，所以要抓取，第一步是要模拟登录。一开始，我打算按照这里的方法登录weibo.com并获取信息，但是发现新浪微博初始的页面的数据是放在JS中并以json格式存放的，页面加载的时候才渲染到HTML中，于是我解析了JS代码，证明此法可行，但是接下来遇到问题，因为...
用python来抓取知乎日报
01-24
使用python抓取知乎日报，去除图片， 去除html转义符，还有乱七八糟有用没用的链接等等。
Python爬虫-爬取知乎搜索、文章、评论数据
ab12587的博客
09-08 2384
【代码】Python爬虫-爬取知乎搜索、文章、评论数据。
使用python进行微博登陆
shiguanggege的博客
02-14 9320
微博登录页面分析 目标网站：https://weibo.com/ 微博密码加密使用的是rsa算法 微博登陆成功总共涉及到三个步骤： 1、向https://login.sina.com.cn/sso/prelogin.php发送请求来获取密码加密所需要的公钥及一系列下次发送请求所需要的参数 2、向https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)这个地址发送请求获取微博通行证 3、向https://passport.weibo
随笔：使用Python爬取知乎上相关问题的所有回答
weixin_43303286的博客
10-24 3965
项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。看之前参考了这篇文章。
python微博_Python——登录微博
weixin_39798626的博客
11-29 160
#!/usr/bin/env python#-*- coding: utf-8 -*-#@Time : 2018/4/9 22:47#@Author : hyang#@Site :#@File : weibo_login.py#@Software: PyCharmimportreimportrequestsimporttimeimporturllib3importbase64i...
Python 模拟爬虫抓取知乎用户信息3835401.zip
最新发布
04-24
本案例中，我们探讨的是如何使用Python模拟爬虫抓取知乎用户信息。知乎是一个知名的在线问答社区，拥有大量的用户资料和互动内容，这些数据对于分析用户行为、社会网络研究等具有很大价值。 首先，我们要了解Python...
python实现多线程抓取知乎用户
12-24
需要用到的包： beautifulsoup4 ...image requests redis PyMySQL pip安装所有依赖包： pip install \ ...beautifulsoup4 \ ...测试运行环境python3.5，不保证其他运行环境能完美运行 ...开始抓取数据: python get_us
Python selenium爬取微博和知乎的评论文本数据，并对文本进行情感分析（BiLSTM和TextCNN）
04-22
过程简介：利用selenium模块爬取数据——>数据预处理——>文本分词——>文本特性提取——>建立Bi-LSTM模型——>进行情感评估——>提取关键词并生成词云。 ... 亲测可行，内含运行环境的详细说明。
python 抓取知乎指定回答下视频的方法
01-19
现在知乎允许上传视频，奈何不能下载视频，好气哦，无奈之下研究一下了，然后撸了代码，方便下载视频保存。 接下来以 猫为什么一点也不怕蛇？ 回答为例，分享一下整个下载过程。 调试一下 打开 F12, 找到光标，如下...
python爬虫手把手教你抓取微博评论（完整代码）
12-22
前几天周子瑜捐款的事情引发粉丝和黑子大战，突然想了解其中的对话 不想看的朋友可以直接跳到最后拿代码 开始工作 第一步引入库 import time import base64 import rsa import binascii import requests import re from PIL import Image import random from urllib.parse import quote_plus import http.cookiejar as cookielib import csv import os 第二步：一些全局变量的设置 comment_path = '
微博用户评论情感分析python代码（数据规模20w）
06-06
完整可运行的python代码。 数据过滤，清洗，分割，特征选择，训练词向量模型，测试等等， 每行都有注释，真实的数据集超过20w条，是个不错的nlp入门例子。
知乎网站抓取
10-09
知乎网站用户信息抓取，对于初学者便于熟悉网站的结构。 利用递归算法，以大v的关注列表和被关注列表为起点，依次递归抓取用户信息，并保存到mongodb数据库
python代码实现—爬取知乎神回复
11-01
20行python代码——爬取知乎神回复 代码非常简单，直接跑在pychram中就行！
python知乎评论爬虫源代码
03-21
python知乎用户评论爬虫源代码 最完整的爬虫源码 python知乎用户评论爬虫源代码 最完整的爬虫源码
python模拟新浪微博登陆功能(新浪微博爬虫)
huludan的专栏
03-07 1202
转载自：http://www.jb51.net/article/44779.htm 使用Python编写一个模拟登陆的程序,利用这个原来可以设计自己的爬虫，大家参考使用吧 1、主函数（WeiboMain.py）： 复制代码代码如下: import urllib2 import cookielib import WeiboE
150讲轻松学习Python网络爬虫
05-16
【为什么学爬虫？】        1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！        2、如果是作为一个其他行业的开发者，比如app开发，web开发，学习爬虫能让你加强对技术的认知，能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序，无论大小，总体来说可以分成三个步骤，分别是：网络请求：模拟浏览器的行为从网上抓取数据。数据解析：将请求下来的数据进行过滤，提取我们想要的数据。数据存储：将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。那么本课程也是按照这几个步骤循序渐进的进行讲解，带领学生完整的掌握每个步骤的技术。另外，因为爬虫的多样性，在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性，分别是：爬虫进阶：包括IP代理，多线程爬虫，图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。Scrapy和分布式爬虫：Scrapy框架、Scrapy-redis组件、分布式爬虫等。通过爬虫进阶的知识点我们能应付大量的反爬网站，而Scrapy框架作为一个专业的爬虫框架，使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求，我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 从基础爬虫到商业化应用爬虫，本套课程满足您的所有需求！【课程服务】 专属付费社群+定期答疑
Python爬虫-爬取知乎（小结）
weixin_49345590的博客
11-20 4438
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者：小小科 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 最近学习了一点网络爬虫，并实现了使用Python来爬取知乎的一些功能，这里做一个小的总结。网络爬虫是指通过一定的规则自动的从网上抓取一些信息的程序或脚本。我们知道机器学习和数据挖掘等都
python爬取知乎评论_从零开始写Python爬虫 --- 爬虫应用：IT之家热门段子（评论）爬取...
weixin_39727976的博客
12-02 263
不知道这里有没有喜欢刷it之家的小伙伴，我反正每天早上醒来第一件事就是打开it之家，看看有没有新鲜的段子 逃~其实这次是要来抓取it之家的热门评论，因为数量较多(上万)，所以我们这次采用MongoDB来存数数据关键词：这次爬虫不像原本的小脚本啦，对速度和质量都有比较高的要求，所以会涉及到一些我原本没有介绍的知识：Ajax多进程MongoDB生成器...先来看一下成果数据库展示：这是MongoDB的...
23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博等
05-27
很好的问题！以下是一些 Python 爬虫开源项目，可以用来爬取多种网站，包括微信、淘宝、豆瓣、知乎、微博等。 1. Scrapy：一个高效的Python爬虫框架，可用于从多个网站获取数据。 2. Beautiful Soup：一个用于解析HTML和XML文档的Python库，可用于爬取网站。 3. Selenium：一个自动化测试工具，也可用于模拟用户行为进行网站爬取。 4. Requests：一个Python HTTP库，可用于向网站发送请求并获取响应。 5. PyQuery：一个用于解析HTML文档的Python库，类似于jQuery。 6. Pyspider：一个强大的爬虫框架，可用于爬取多个网站。 7. Crawlera：一个智能代理池，可用于绕过网站的反爬虫机制。 8. Frontera：一个高效的分布式爬虫框架，可用于爬取大规模数据。 9. Newspaper：一个Python库，可用于从新闻网站中提取文章和元数据。 10. Feedparser：一个Python库，可用于解析RSS和Atom新闻源。 11. Grab：一个Python爬虫框架，可用于爬取多个网站。 12. ParseHub：一个基于云端的数据提取工具，可用于从网站中提取结构化数据。 13. Webbot：一个用于模拟用户行为的Python库，可用于爬取网站。 14. PySpider：一个基于分布式架构的Python爬虫框架，可用于爬取多个网站。 15. Grablib：一个Python爬虫框架，可用于爬取多个网站。 16. Python-Goose：一个Python库，可用于从新闻网站中提取文章和元数据。 17. Scrapy-redis：一个基于Redis的分布式爬虫框架，可用于爬取多个网站。 18. Scrapy-splash：一个基于Splash的JavaScript渲染爬虫框架，可用于爬取JavaScript动态生成的网页。 19. Scrapy-UserAgents：一个Scrapy中的中间件，可用于随机更换用户代理。 20. Scrapy-Proxies：一个Scrapy中的中间件，可用于随机更换代理IP。 21. Scrapy-rotating-proxies：一个Scrapy中的中间件，可用于随机更换代理IP。 22. Scrapy-selenium：一个Scrapy中的中间件，可用于使用Selenium进行网站爬取。 23. Scrapy-fake-useragent：一个Scrapy中的中间件，可用于随机更换用户代理。 希望这些开源项目能够帮助你进行网站爬取！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值