爬虫
会飞的小窦娥
天下难事,必作于易;天下大事,必作于细
展开
-
Selenium+Request爬取某鱼直播音频数据(下)
获取M3U8地址: 在上文已经获取到m3u8地址, 直接上代码 import requests import os #需要安装 from Crypto.Cipher import AES import uuid def m3u8(url): base_url = url[:url.rfind('/')+1]#如果需要拼接url,则启用 , +1 把 / 加上 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x6原创 2020-09-03 16:09:48 · 431 阅读 · 0 评论 -
Selenium+Request爬取某鱼直播音频数据(上)
1 Selenium介绍: selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 2 安装 pip install selenium 一般我习惯用谷歌所以下载谷歌游览器插件 ...原创 2020-08-31 11:51:54 · 1127 阅读 · 0 评论 -
爬取网站上无法下载音频数据
使用猫抓插件查看视频页面: 猫爪插件地址:https://download.csdn.net/download/qq_35944102/12751647 点击查看第一个m3u8中地址: 使用M3U8Downloader下载所查找视频 M3U8Downloader插件下载地址:https://download.csdn.net/download/qq_35944102/12758824 复制地址到下载器,选择保存位置和所需要保存格式。点击下载 下载成功: ...原创 2020-08-28 10:01:06 · 393 阅读 · 0 评论 -
Requests基本使用
1 Requests介绍: Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦! 2 安装 利用pip安装 pip install requests 3 基本请求 r = requests.ge原创 2020-08-24 14:47:59 · 178 阅读 · 0 评论 -
Scrapy项目实战
一 项目准备工作 1. 创建项目 Scrapy框架常用的命令 创建项目:scrapy startproject xxx 进入项目:cd xxx #进入某个文件夹下 创建爬虫:scrapy genspider xxx(爬虫名) xxx.com (爬取域) 生成文件:scrapy crawl xxx -o xxx.json (生成某种类型的文件) 运行爬虫:scrapy crawl XXX 列出所有爬虫:scrapy list 获得配置信息:scrapy settings [options] Scrapy项目文原创 2020-08-24 08:52:19 · 1950 阅读 · 0 评论