Python3 + selenium & requests 爬取B站视频实例(下)

前言上文提到了selenium爬取B站视频的方法,也讲了很多细节,重复的地方不再赘述。本文将使用requests库,用requests爬取B站视频的思路如下:使用requests库将页面源码扒下来把所有视频链接地址从源码扒下来使用you-get下载视频到本地需要注意的地方在第二步,使用的正则表达式,在提取视频链接地址的时候,直接只提取我们需要的部分(问号前面的部分)。完整代...
摘要由CSDN通过智能技术生成

前言
上文提到了selenium爬取B站视频的方法,也讲了很多细节,重复的地方不再赘述。

本文将使用requests库,用requests爬取B站视频的思路如下:

  1. 使用requests库将页面源码扒下来
  2. 把所有视频链接地址从源码扒下来
  3. 使用you-get下载视频到本地

需要注意的地方在第二步,使用的正则表达式,在提取视频链接地址的时候,
直接只提取我们需要的部分(问号前面的部分)。

完整代码如下,可以发现一共就12行,因为我把那些花里胡哨的代码都给移除,
只留下核心的部分,方便同学参考:

# coding=utf-8
import requests,os,re

search_name = input('您想要爬取的视频关键字是?\n(输入完毕请按回车):')
pages = 
  • 1
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
当使用 Scrapy 和 Selenium 结合进行网页动态加载数据的时,可以按照以下步骤进行操作: 1. 安装所需库:确保已安装 Scrapy 和 Selenium 库。可以使用以下命令进行安装: ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目:使用以下命令创建一个新的 Scrapy 项目: ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider:进入项目目录,并使用以下命令创建一个新的 Spider: ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider:打开 `example.py` 文件,并按照以下示例进行配置: ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提动态加载的数据 # 示例:提标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例中,我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`,这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium:为了使用 Selenium,你需要配置相关的 Web 驱动程序。根据你使用的浏览器,下载并安装相应的驱动程序,并将其添加到系统的 PATH 环境变量中。 6. 运行 Spider:使用以下命令运行 Spider: ``` scrapy crawl example ``` 这将启动过程,并在控制台上打印出提的动态加载数据。 通过以上步骤,你可以使用 Scrapy 和 Selenium 结合进行动态加载数据的操作。你可以根据实际需求修改 Spider 中的代码来提所需的数据,并将其保存到文件或数据库中。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值