python-scrapy教程（三）：实战——采集芒果TV综艺节目信息

最新推荐文章于 2022-07-09 10:54:50 发布
VIP文章 最新推荐文章于 2022-07-09 10:54:50 发布
阅读量3.8k 收藏 13
点赞数 6
分类专栏： Python 文章标签： Python 爬虫 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Topkipa/article/details/76665010
版权

我们先来看看需要采集的网站：

以综艺类搜索页第一页为例子：http://list.mgtv.com/1/---------2-1---.html，其中一页有60部综艺信息


信息：





教程：

创建工程：具体方法前面教程都有，创建完了之后，整体大概如下图：


data.py为主

最低0.47元/天 解锁文章
穿裤衩的文叔
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python爬虫实战，requests模块，Python实现抓取芒果TV弹幕
weixin_43649691的博客
11-03 2000
前言 利用Python实现抓取芒果TV弹幕，废话不多说。 让我们愉快地开始吧~ 开发工具 Python版本： 3.6.4 相关模块： requests模块； pandas模块 以及一些Python自带的模块。 环境搭建 安装Python并添加到环境变量，pip安装需要的相关模块即可。 思路分析 本文以爬取电影《悬崖之上》为例，讲解如何爬取芒果TV视频的弹幕和评论！ 目标网址 https://www.mgtv.com/b/335313/12281642.html?fpa=15800&fpos=8&am
你一定不知道爬虫js逆向还能登录芒果TV吧！
公众号：白又白学Python
09-14 713
前言 最近在捣鼓js这一块的知识，顺便给大家分享一个练手学习的小项目，让自己在多了解一下爬虫的魅力，js逆向登录芒果TV 目标地址 网址：8ec200330de7c741bd39afc56e043e6f 工具使用 开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests，time，execjs 项目思路解析 首先需要先明确登录的基本流程，网页登录时可以大致看到需要提交4个数据的from表单数据账户，密码，验证码，记住密码，以及有些网页还会有协议，账户或者电
Python实现的综艺大数据分析系统
毕业作品网站
07-09 883
资源下载地址：https://download.csdn.net/download/sheziqiong/85975981 资源下载地址：https://download.csdn.net/download/sheziqiong/85975981 摘 要 在互联网时代，伴随着各种社交媒体的盛行，公众人物的一言一行也被无限放大，对于广大群众的价值导向作用也被进一步的激发。由此从大数据的角度对综艺节目进行分析和研究，实现一个基于Python的综艺明星分析系统。 本设计拟实现综艺节目分析系统，本系统要具备公众人
python爬取乘风破浪的姐姐弹幕--芒果TV爬虫
bo_gu的博客
06-24 3473
不知道大家有木有收看兴风作浪 乘风破浪的姐姐们吖？你最喜欢哪个姐姐呢？看看哪个姐姐最受弹幕欢迎吧 今天（昨天），先把芒果TV的《乘风破浪的姐姐》弹幕爬下来再说 from bs4 import BeautifulSoup import requests import os import json import pandas as pd from wordcloud import WordCloud, ImageColorGenerator import imageio import seaborn as sn
Python抓取十万弹幕数据需多久？三分钟搞定并实现词云！
weixin_52994140的博客
08-24 934
不知道周四的芒果台《披荆斩棘的哥哥》第1期一经播出，你们看了没。简直炸裂来袭，情怀牌、不油腻、有质感，让它上线就获得了大量关注！ 将古惑仔、摇滚乐手、rapper、舞者、歌手、功夫演员等等放在同一档综艺节目里，又会产生什么样的化学反应呢？ 今天，我们就看看第1期里10万弹幕大军们怎么说吧！ 1. 数据预览 本次采集的是芒果TV第1期上中下三集一共97,331条弹幕，具体采集过程见文末代码（比较简单哈）。 import pandas as pd df = pd.read_excel('披荆斩棘的
爬虫实例——利用BeautifulSoup库爬取页面信息
qq_43644946的博客
07-12 4298
爬虫实例——利用BeautifulSoup库爬取芒果TV页面信息 使用 python爬虫 爬取页面信息。首先从网络上获取芒果TV网页内容，然后提取网页内容中信息到合适的数据结构 ，最后利用数据结构展示并输出结果。 功能描述 输入：芒果TV的url链接 输出：电视剧信息输出（电视剧，剧情） 技术路线：request—bs4 定向爬虫：仅对输入url进行爬取，不进行扩展爬取 结果如下： 代码如下： import requests from bs4 import BeautifulSoup import bs4
芒果TV——百变大咖秀爬虫与数据可视化
蔡小小的博客
03-18 1657
本期是对芒果TV视频评论的一次爬虫与数据分析，耗时两个晚上，总体来说比较普通，值得注意的一点是时间戳的处理。 爬虫方面：由于芒果的评论数据是封装在json里面，所以只需要找到json文件，对需要的数据进行提取保存即可。 视频网址：https://www.mgtv.com/b/44793/11017269.html?fpa=se&lastp=so_result 评论json数据网址：https://comment.mgtv.com/v4/comment/getCommentList?page=1
python爬虫-视频爬虫（1）
qq_32828053的博客
07-15 7406
python爬虫-视频爬虫（1） 一、视频爬虫介绍 本篇文章主要是针对直接可以找到完整视频的链接（可能需要拼接成完整链接）进行下载的那一类视频爬虫 二、视频爬虫步骤 和所有的爬虫一样，首先熟悉你需要爬虫的网页，从中找到我们需要下载的视频的链接、或者可以拼接成视频的下载链接，最后才是把这个过程用python代码来实现自动化。 三、爬虫代码的实现 以【好看视频】网址为例 和图片的爬虫不同，图片的链接都是可以在网页的源码中找到的，而视频需要你打开F12刷新网页查看接口请求，从接口的响应里面获取数据； 让我们先打开
python高阶爬虫---视频类内容爬取，内含详细教程和代码实例
热门推荐
DALEONE的博客
06-28 2万+
最近放暑假，闲来无事，爬点东西来玩。这学期由于课程需要，多次用爬虫的技术来获取数据，但都是获取一些文字类的数据。突发奇想，自己想利用爬虫获取一些音视频类的数据。下面以某站和某影院为例，说明爬虫获取音视频的技术和方法。BiliBili的视频爬取教程参考自BiliBili视频(自己爬自己，哈哈哈),城市影院的视频爬取以BiliBili为启发，自己编写。代码仅供参考，不用做其他用途。..............................
python抓取视频真实地址_芒果TV 视频真实的地址获取
weixin_28040125的博客
01-12 3118
# coding=utf-8import requestsimport jsonimport reimport osimport urlparseimport randomvid = re.search(r'/(\d+).html','http://www.mgtv.com/v/10/167938/c/2942052.html').group(1)r = requests.get('http://...
python-scrapy-spiders:一些我自己建立的，使用和完善后的scrapy爬虫项目
04-05
python-scrapy-spiders 描述 发行版本的刮y蜘蛛 目录 爬虫详细介绍 中国行政区划代码爬虫 技巧等级： :spade_suit: :spade_suit: 功能介绍 进攻的鲁棒性，支持断点重续爬取 不同模式，FIFO（深度爬取）和LIFO（广度...
Scraping-mymarket-using-python-with-library-scrapy:Scrapy，一个适用于Python的快速高级Web爬网和抓取框架
04-25
使用带有库scrapy的python爬Mymarket Scrapy，一个用于Python的快速高级Web爬网和抓取框架。 概述 Scrapy是一个快速的高级Web爬网和Web爬网框架，用于对网站进行爬网并从其页面中提取结构化数据。 它可以用于从数据...
Python-Scrapy 入门级爬虫项目实战
08-21
Python-Scrapy 入门级爬虫项目实战 糗事百科段子爬取
Python-Scrapy：热销手机爬虫数据分析
06-27
热销手机——Python爬虫数据分析 [环境] 视窗 蟒蛇3.8 [scrapy-spider] scrapy项目1：taobaoSpider scrapy项目2：jdSpider [数据资源] 来源：csv文件存储 [数据分析] 任务*.py [样本] 效果展示：task*.png
python-scrapy框架.zip
最新发布
01-04
广泛的库和框架：Python拥有丰富的第三方库和框架，可以快速开发各种应用。 跨平台性：Python可以在多个操作系统上运行，包括Windows、Linux和MacOS等。 强大的社区支持：Python拥有庞大的开发者社区，提供了丰富的...
Python数据分析之——数据可视化（折线图）
穿裤衩的文叔的专栏
08-04 9109
matplotlib的pyplot子库提供了和matlab类似的绘图API，方便用户快速绘制2D图表。 首先我们先来看看效果图： 然后，是数据： 接着是代码： #coding:utf-8 import numpy as np import matplotlib.pyplot as plt import MySQLdb sql = 'SELECT dt_date,nm_wa
python-scrapy教程（二）：网页跳转
穿裤衩的文叔的专栏
03-30 6739
我们接着上一教程开始讲解scrapy中网页的跳转 首先，先看我们要采集的网站：优酷list列表--http://list.youku.com/category/show/c_96_r_2017_s_1_d_1_p_1.html 我们所要采集的信息呢在这个详情页 这个详情页是通过播放页的节目简介这儿的入口进入的 接下来我们看看代码（只需要在教程一中的代码进行修改）：
python3.6 通过pyhdfs操作HDFS
穿裤衩的文叔的专栏
07-30 5319
一、安装 pip install pyhdfs 二、链接： import pyhdfs fs = pyhdfs.HdfsClient('192.168.***.**:50070') 三、操作： import pyhdfs class PackageHdfs(): def __init__(self): self.fs = pyhdfs.HdfsClient...
爬虫—新浪微博（登陆访问、cookie访问）
穿裤衩的文叔的专栏
04-09 4562
一、思路：    登录 ====>进入指定页面 ====>获取cookie ====> 带cookie访问相关页面。    注：貌似微博页面稍微改了一下：现在通过登录直接进入个人中心的过程中所获取的cookie不能用于访问其他页面，因此，才会在登陆后加一层进入指定页面用于获取可用的cookie。二、代码：1、登录并获取cookie（url：https://login.sina.c...
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
05-19
这里是一个简单的Python-Scrapy爬取百度搜索结果并对搜索结果进行分析的例子： 首先，我们需要安装Scrapy和lxml库。在命令行中输入以下命令： ``` pip install scrapy pip install lxml ``` 然后，我们可以创建一个名为baidu_spider的新项目，并在项目中创建一个名为baidu的新爬虫。在命令行中输入以下命令： ``` scrapy startproject baidu_spider cd baidu_spider scrapy genspider baidu www.baidu.com ``` 现在，我们在baidu_spider/spiders/baidu.py文件中编写我们的代码。我们将使用Scrapy的Selector来选择我们想要的数据。代码如下： ```python import scrapy class BaiduSpider(scrapy.Spider): name = "baidu" allowed_domains = ["www.baidu.com"] start_urls = ["http://www.baidu.com/s?wd=python"] def parse(self, response): # 获取搜索结果 results = response.xpath('//div[@class="result c-container "]') for result in results: # 获取标题和链接 title = result.xpath('.//h3/a/text()').extract_first().strip() link = result.xpath('.//h3/a/@href').extract_first() # 获取摘要 abstract = result.xpath('.//div[@class="c-abstract"]//text()').extract() abstract = "".join(abstract).strip() # 打印结果 print(title) print(link) print(abstract) ``` 在这个例子中，我们首先定义了我们的爬虫的名称，允许的域名和起始URL。然后我们定义了一个parse函数来处理响应。在parse函数中，我们使用XPath选择器来选择搜索结果。我们使用extract_first()和extract()方法来提取标题、链接和摘要。最后，我们打印了结果。 现在，我们可以在baidu_spider目录中运行以下命令来运行我们的爬虫： ``` scrapy crawl baidu ``` 这将启动我们的爬虫并开始爬取百度搜索结果。在控制台中，您应该能够看到我们的爬虫正在输出搜索结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值