实战 | 1——python爬取某动漫网站（2）

已于 2022-07-31 15:00:03 修改
阅读量3.4k 收藏 9
点赞数 4
文章标签： 爬虫 python
于 2022-07-30 22:44:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/he_spectacular/article/details/126066024
版权

注：本人小白一枚，爬虫也是刚接触，写的不好请多指点

        这里给出后半部分，转换m3u8视频的方法

        上一节讲到我们能获取到m3u8文件所在的url地址，这一节的思路是将m3u8文件进行下载，并将其转化为MP4格式

目录

m3u8文件的下载

下载ts文件

处理ts文件

合并工作

删除

完整代码

运行结果

注意

m3u8文件的下载

这里用到了urllib库中request方法中的urlretrieve函数

代码如下：

from urllib import request

def download_m3u8(url,name):
    """
    下载要解析的m3u8文件
    :param url: 我们获得到的m3u8文件的url
    :param name: 名字就是m3u8文件的文件名
    :return: 下载m3u8文件
    """
    request.urlretrieve(url, f'{name}.m3u8')

这样我们就能将文件从网页中下载下来，运行完后会在当前目录下多出一个m3u8文件

当我们打开这个m3u8文件时：

就会发现每个url后面的都是.png后缀，和平常的.ts不太一样 

直接在网页中打开的图像是这样的

         我们将这个png下载，在Hexeditor中打开会发现前面头部信息是png（有的是有的不是），所以说有的并不能通过直接修改后缀名来将这个文件转化为ts类型，为了保险起见，我们将这些数据的头部都进行修改，首先我们要将这个网站上的这个文件以字节流的形式下载下来

下载ts文件

将这个网站上的文件以字节流的形式下载下来

其实也就是为了去获取这个网站的这个文件，然后再将它转换成ts文件

def download_ts(name):
    """
    以字节流形式下载ts文件
    :param name: 我们下载过来的m3u8文件
    :return: 将尚未处理的ts文件，存入inlib文件夹下，在运行中返回的是一共多少个ts文件
    """
    web_list=[]
    with open(f"{name}.m3u8","r") as files:
        lines_list=files.readlines()
        for https in lines_list:
            web=re.search("https://.+",https)
            if web:
                web_list.append(web.group())
    files.close()
    headers={
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.71"
    }
    #remove_or_set(r"D:\pythonProject\pythonlearn\anime\outlib")
    #remove_or_set(r"D:\pythonProject\pythonlearn\anime\inlib")
    for url,num in zip(web_list,range(1,len(web_list)+1)):
        resp=requests.get(url,headers=headers)
        with open(f"inlib/{num}.ts","wb") as codes:
            codes.write(resp.content)
        codes.close()
    return len(web_list)

下载之后如图：

处理ts文件

修改ts文件的头部信息，然后在这个函数中向filelist.txt文件中写入之后要合并的ts文件的信息

代码如下：

def change(num):
    """
    由于这个m3u8文件比较特殊，里面头部信息为png，我们要将它修改成ts
    :param num: 这个就是总共的ts数
    :return: 返回修改过后的ts文件
    """
    print("正在加载....")
    with open("filelist.txt","a+") as file:
        file.write("\n")
        for i in range(1,num+1):#num+1
            file.write(f"file  'D:\\pythonProject\\pythonlearn\\anime\\outlib\\{i}.ts'\n")
            with open(f"inlib/{str(i)}.ts","rb") as infile:
                out_ts = f"outlib/{str(i)}.ts"
                outfile = open(out_ts, "wb")
                data = infile.read()
                outfile.write(data)
                outfile.seek(0x00)
                outfile.write(b'\xff\xff\xff\xff')
                outfile.flush()
                outfile.close()
            infile.close()
    file.close()

filelist.txt文件内容如下：

合并工作

这里用到了ffmpy这个库中的FFmpeg函数，代码如下：

from ffmpy import FFmpeg

def together(name):
    """
    合并outlib列表中的所有ts文件
    :param name: 爬取视频的名字
    :return: 返回一个MP4文件
    """
    ff=FFmpeg(
        inputs={
            "D:\\pythonProject\\pythonlearn\\anime\\filelist.txt":"-f concat -safe 0"
        },
        outputs={
            f"{name}.mp4":"-c copy"
        }
    )
    # print(ff.cmd)
    ff.run()

删除

清空文件夹中的所有文件，如果没有文件就进行创建

import re
import shutil

def remove_or_set(filepath):
    """
    删除多余的文件防止下一次爬取的时候合并出问题
    """
    if not os.path.exists(filepath):
        os.mkdir(filepath)
    else:
        shutil.rmtree(filepath)
        os.mkdir(filepath)

完整代码

这里把上一次的代码一并附上

import os
import re
import shutil
import requests
import time
import sys
from ffmpy3 import FFmpeg
from urllib import request


def parse_search_url(url):
    """
    用于提取搜索网页的内容也就是http://159.75.0.62:11234/ssszz.php?top=10&q={}网页中的内容，{}中为搜索值
    :param url: http://159.75.0.62:11234/ssszz.php?top=10&q={}
    :return: detail_url返回解析后的url后缀，格式是/acq/74378类似的形式，movies_name返回影片名字
    """
    headers = {
        "User-Agent":
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.71",
        "Cookie":
            "PHPSESSID=8jnc6i33n2lablu2arfqev17l7"
    }
    resp = requests.get(url, headers=headers)
    html = resp.content.decode("utf-8")
    # print(html)
    detail_url = re.findall(".+(/.+/\d+/)", html)
    movies_name = re.findall(r"""title.+"(.+?)",""", html)
    return detail_url, movies_name


def episodes(url):
    """
    用于显示视频更新到哪一集
    :param url: http://yhdm81.com/+后面的后缀，如：/tv/74378/
    :return: 没有返回值，只是告知使用者该动画更新到第几集了
    """
    headers = {
        "User-Agent":
            "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 103.0.5060.134Safari / 537.36Edg / 103.0.1264.71"

    }
    resp = requests.get(url, headers=headers)
    html = resp.content.decode("utf-8")
    episodes_num = re.findall(r"""<span style="font-size:12px;margin-left:10px;">(\D.+)</span><span.+""", html)
    return f"目前{episodes_num[0]}"


def true_video_web(video_num, episode_num):
    """
    获取视频的网络位置
    :param video_num:视频的编号，如：/tv/74378/中的74378
    :param episode_num: 选择的集数
    :return: 返回获取到的m3u8地址
    """
    headers = {
        "User-Agent":
            "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 103.0.5060.134Safari / 537.36Edg / 103.0.1264.71"
    }
    playarr_url = f"http://d.gqyy8.com:8077/ne2/s{video_num}.js"
    resp = requests.get(playarr_url, headers=headers)
    html = resp.content.decode("utf-8")

    video_m3u8 = re.findall(r"""playarr_.{1,3}\[\d\]="https://.+/.+/[a-zA-Z]+?\d{2}\.m3u8.+""", html)
    # video_url=f"https://yun.66dm.net/SBDM/{video_m3u8[0][:-1]}{episode_num}.m3u8"
    # 以上两行代码是基于爬取的视频是漫画的前提下写的
    #print(video_m3u8)
    m3u8_url_list = video_m3u8[0].split(";")
    #print(m3u8_url_list)
    for i in range(len(m3u8_url_list)):
        m3u8_url_episode = m3u8_url_list[i]
        # print(m3u8_url_episode)
        m3u8_name = re.findall("playarr_.{1,3}\[\d\]=.https://.+/.+/\D{1,20}\d{1,3}\.m3u8.+,\d", m3u8_url_episode)
        # print(m3u8_name)
        if m3u8_name:
            comp_num=m3u8_name[0][-1]
            #print(comp_num)
            if str(episode_num)==comp_num:
                m3u8 = re.findall(f"https://.+\.m3u8", m3u8_url_episode)
                m3u8_name=re.findall(".+/(.+)\.m3u8",m3u8[0])
                #print(m3u8,m3u8_name)
                return m3u8[0], m3u8_name[0]


def get_m3u8_url():
    """
    根据自己的需要筛选的程序
    :return: 返回利用true_video_web函数返回m3u8文件所在的url以及m3u8文件名称
    """
    search_url = "http://159.75.0.62:11234/ssszz.php?top=10&q={}".format(input("请输入你要搜索的内容："))
    urls, names = parse_search_url(search_url)
    print(f"一共找到以下{len(names)}项内容：")
    for name, num in zip(names, range(1, len(names) + 1)):
        print(f"第{num}项：", "\t", f"{name}")
    try:
        choice = int(input("请选择你要找的影视片（输入数字即可）：")) - 1
    except:
        print("输入有误！")
        return None
    movies_url = "http://yhdm81.com/" + urls[choice]
    print("注意：出现正片，备用或空白，直接选择1即可")
    print(episodes(movies_url))
    episode_num = input("请选择你要的集数（输入数字即可）：")
    try:
        episode_list=episode_num.split("-")
        episode_list=[i for i in range(1,int(episode_list[1])+1)]
        #print(episode_list)
    except:
        try:
            episode_list=episode_num.split(",")
        except:
            try:
                episode_list=list(episode_num)
            except:
                return None
    video_num = re.findall("/(acg|zongyi|tv|mov)/(\d.+)/", urls[choice])
    videoname=names[choice]
    return video_num[0][1],videoname,episode_list


def download_m3u8(url, name):
    """
    下载要解析的m3u8文件
    :param url: 我们获得到的m3u8文件的url
    :param name: 名字就是m3u8文件的文件名
    :return: 下载m3u8文件
    """
    request.urlretrieve(url, fr'D:\PythonProject\anime\{name}.m3u8')


def download_ts(name):
    """
    以字节流形式下载ts文件
    :param name: 我们下载过来的m3u8文件
    :return: 返回尚未处理的ts文件
    """
    web_list = []
    with open(fr"D:\PythonProject\anime\{name}.m3u8", "r") as files:
        lines_list = files.readlines()
        for https in lines_list:
            web = re.search("https://.+", https)
            if web:
                web_list.append(web.group())
    files.close()
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Safari/537.36 Edg/103.0.1264.71"
    }
    remove_or_set(r"D:\PythonProject\anime\outlib")
    remove_or_set(r"D:\PythonProject\anime\inlib")
    print("正在下载ts文件......")
    print("ts视频加载进度:")
    length=len(web_list)
    start = time.perf_counter()
    for url, num in zip(web_list, range(1, length + 1)):
        a = "▋" * int(num/length*35)
        c = (num / length) * 100
        dur = time.perf_counter() - start
        print("\r{:^3.0f}% | 用时: {:.2f}s {}".format(c,dur,a), end="")
        resp = requests.get(url, headers=headers)
        with open(fr"D:\PythonProject\anime\inlib\{num}.ts", "wb") as codes:
            codes.write(resp.content)
        codes.close()
    return len(web_list)




def change(num):
    """
    由于这个m3u8文件比较特殊，里面头部信息为png，我们要将它修改成ts
    :param num: 这个就是总共的ts数
    :return: 返回修改过后的ts文件
    """
    with open(r"D:\PythonProject\anime\filelist.txt", "a+") as file:
        file.write("\n")
        time.sleep(1)
        print("\n\n正在转化ts文件......")
        print("ts视频转化进度:")
        start = time.perf_counter()
        for i in range(1, num + 1):  # num+1
            a = "▋" * int(i/num*30)
            c = (i / num) * 100
            dur = time.perf_counter() - start
            print("\r{:^3.0f}% | 用时: {:.2f}s {}".format(c, dur, a), end="")
            file.write(f"file  'D:\\PythonProject\\anime\\outlib\\{i}.ts'\n")
            with open(f"D:\\PythonProject\\anime\\inlib\\{str(i)}.ts", "rb") as infile:
                out_ts = f"D:\\PythonProject\\anime\\outlib\\{str(i)}.ts"
                outfile = open(out_ts, "wb")
                data = infile.read()
                outfile.write(data)
                outfile.seek(0x00)
                outfile.write(b'\xff\xff\xff\xff')
                outfile.flush()
                outfile.close()
            infile.close()
    file.close()


def together(directory,name):
    """
    合并outlib列表中的所有ts文件
    :param name: 爬取视频的名字
    :return: 返回一个MP4文件
    """
    ff = FFmpeg(
        inputs={
            r"D:\PythonProject\anime\filelist.txt": "-f concat -safe 0"
        },
        outputs={
            fr"C:\Users\14040\Desktop\{directory}\{name}.mp4": "-c copy"
        }
    )
    # print(ff.cmd)
    ff.run()


def remove_or_set(filepath):
    """
    删除多余的文件防止下一次爬取的时候合并出问题
    """
    if not os.path.exists(filepath):
        os.mkdir(filepath)
    else:
        shutil.rmtree(filepath)
        os.mkdir(filepath)


def main():
    """
    这里的文件位置根据自己不同需要进行修改
    :return:
    """
    video_num,videoname,episode_list = get_m3u8_url()
    remove_or_set(fr"C:\Users\14040\Desktop\{videoname}")
    for num in episode_list:
        try:
            episode_num=int(num)
        except:
            episode_num=num
        url,name=true_video_web(video_num,episode_num)
        print(f"\n\n\n\n▋▋▋▋▋▋▋▋▋开始下载《{videoname}-第{num}集》▋▋▋▋▋▋▋▋▋")
        #print(name)
        download_m3u8(url, name)
        change(download_ts(name))
        together(f"{videoname}",f"{videoname}-第{num}集")
        remove_or_set(r"D:\PythonProject\anime\outlib")
        remove_or_set(r"D:\PythonProject\anime\inlib")
        os.remove(fr"D:\PythonProject\anime\{name}.m3u8")
        os.remove(fr"D:\PythonProject\anime\filelist.txt")
        print(f"▋▋▋▋▋▋▋▋▋{videoname}第{num}集下载完成▋▋▋▋▋▋▋▋▋")


if __name__ == '__main__':
    main()

运行结果

注意

这里出现的有关绝对路径都需要自行进行修改

还有一点，本人能力有限（批量处理还不会多线程操作）

尚不知道以下情况该怎么解决，这里爬取后缀不是index.m3u8文件是没有影响的

  

he_spectacular
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Python爬取动漫网站的动漫介绍和评分
2201_76125393的博客
07-04 244
动漫作为一种受到广大观众喜爱的娱乐形式，有着丰富多样的题材和故事情节。通过使用Python编写爬虫程序，我们可以从动漫网站上获取动漫的详细介绍和评分信息，为动漫爱好者提供更多的了解和选择。本文将介绍如何使用Python编写爬虫程序，从动漫网站上提取动漫的介绍和评分，并提供相应的代码示例。
Python爬去樱花动漫 超简单
m0_59854878的博客
12-15 9173
没事干，就像爬爬樱花动漫 一，观察网页 樱花动漫有国漫，日漫，欧美，港台等分区，他们的网址有略微不同，类似于这样。 国漫:https://www.yhdmwz.com/gcdm.html 日漫:https://www.yhdmwz.com/rhdm.html 每个分区下面不止一页动漫，每页动漫地址也不一样，拿国漫举例，第一页: https://www.yhdmwz.com/gcdm_1.html 第二页: https://www.yhdmwz.com/gcdm_2.html 当然每个动漫的集数的地址也不一样
实战 | 1——python爬取某动漫网站（1）
he_spectacular的博客
07-29 5216
爬取某动漫网站（前半部分），主要是提取出m3u8视频的链接。
python爬虫爬取樱花动漫
最新发布
2301_81164484的博客
05-25 4556
对于问题1，我打算先将所有的动漫名称都给爬一下顺带将他们相对应的网址路径也给爬了。那么问题又来了，多找几个动漫观察一下就会发现，这路径含有m3u8的url有些参数还不一样。4.然后就是有些m3u8格式的视频是有加密措施的，我看了一下大部分是AES-128加密，有没有其它加密方式我就不知道了（大不了遇到了再学嘛）对于问题3，由开头所说，用playwright(当然其它的也可以做到），可以实时监听其网络请求。对于问题2，由问题1，有了相对应的路径，再结合根目录就可以拼出一个完整的url，例如。
过去，我买漫画看；现在，我用Python爬虫来看
m0_59162248的博客
12-04 145
运用Python多线程爬虫下载漫画以前，我都是买漫画书看的，那个时候没有电脑。今天，我到网上看了一下，发现网上提供漫画看，但是时时需要网络啊！为什么不将它下载下来呢！文章目录原标题：运用Python多线程爬虫下载漫画1.怎样实现1.1 爬取我们需要的数据(网页链接、漫画名称、漫画章节名称)2.完整代码3.总结1.怎样实现这个项目需要的模块有：requests、urllib、th...
python实现番剧信息爬取(bangumi,豆瓣,萌百)
qq_42104961的博客
08-24 972
不容易，终于写完了，当时写了一半沉迷游戏润了，回学校后给写完了。属于第一次为爱付出努力，感觉还是挺有意义的，期间学到了很多知识。
python+vue动漫信息交流分享网站
鹏飞的博客
05-25 53
动漫信息交流分享网站这个平台，可以使用户足不出户就可以了解丰富的动漫信息，避免他们盲目在互联网上寻求相关的动漫信息，使得他们更尽兴地提高观看动漫的满足感，系统的主要功能包括：动漫类别管理、动漫信息管理、动漫上传下载、会员信息管理、动漫资讯管理、动漫图片管理等。管理员所能使用的功能主要有：首页、个人中心、动漫分类管理、热门动漫管理、文章专栏管理、会员管理、会员分享管理、论坛管理、系统管理等。前台首页实现热门动漫、文章专栏、会员分享、论坛信息、个人中心、后台管理等。4.2 数据库设计原则 16。
python爬虫学习笔记（三）—— 实战爬取豆瓣TOP250电影
12-20
开始实战爬取豆瓣TOP250电影 首先还是重新复习下爬虫的基本流程： 发起请求 获取响应内容 解析内容 保存数据 1. 发起请求 首先观察豆瓣电影Top250首页 (\s+)?’, ” “, bd) bd = re.sub(‘/’, ” “, bd) data....
Python实现爬取需要登录的网站完整示例
09-21
主要介绍了Python实现爬取需要登录的网站,结合完整实例形式分析了Python登陆网站及数据抓取相关操作技巧,需要的朋友可以参考下
python爬虫训练：动漫网10000部动漫信息抓取
liaozp88的博客
12-02 1025
本文只供学习，不做他用！ import re import threading import requests import os import time import openpyxl # 爬取全部首页图并存储 headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'} lst_name=[]
syy7comai5php,PhraseEdit.txt
weixin_35653597的博客
03-28 1957
; 搜狗拼音输入法--自定义短语配置文件; 自定义短语说明：; 1、自定义短语支持多行、空格、指定位置。; 2、每条自定义短语最多支持30000个汉字，总共支持100000条自定义短语。; 3、自定义短语的格式如下：; 单行的格式：; 字符串+英文逗号+数字(指定排序位置)=短语; 多行的格式：; 字符串+英文逗号+数字(指定排序位置)=; 多行短语; 具体格式可以参考下面...
Python-爬取2345电影并写入文件
Co_zy的博客
08-13 3752
一个简单爬虫 1.目标:爬取2345电影网2017年最新电影 2.所使用的库:from bs4 import BeautifulSoup import requests import codecs3.目标链接 http://dianying.2345.com/list/—-2017—2.html 点击下一页观察每个url变化规律4.开发者工具观察 所有电影内容都在{‘class’:’v_pi
91.vido.ws v.php,"token" parameter not in video info for unknown reason;
热门推荐
weixin_35307279的博客
03-29 89万+
youtube-dl -v --dump-pages https://www.youtube.com/watch?v=USg3NR76XpQ output[debug] System config: [][debug] User config: [u'--add-metadata', u'--user-agent', u'Mozilla/5.0 (X11; Ubuntu; Linux x86_64...
热血动漫番太好看了！用Python爬取了1T的动漫，内存都爆了
五包辣条的博客
08-09 2万+
大家好，我是辣条。 最近被室友安利热血动漫番《终末的女武神》和《拳愿阿修罗》，太上头了周末休息熬夜看完了。不过资源不太好找，辣条一怒爬取了资源，这下可以看个够了。室友崇拜连连，想起了我的班花，快点开学，阿西吧... Python爬虫-vip动漫采集 效果展示 爬取目标 网站目标：樱花动漫 工具使用 开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests，lxml， re，tqdm 重点学习内容 正则的使用 tqdm的.
一个简单的Python樱花飘落动画代码
weixin_39302449的博客
04-08 6559
这个示例代码将在控制台中显示一个樱花飘落的动画效果，使用了 ANSI Escape Codes 来控制颜色。请注意，这段代码可能在某些操作系统上无法正常运行，因为不同的操作系统支持的 ANSI Escape Codes 可能不同。
python爬取动漫网站的动漫
weixin_45438214的博客
03-05 1551
最近学了一下爬虫，就写段代码来试一下成果如何。（目的是爬取某动漫网站上的一部动漫） 版本是python3.7 `import requests import re from selenium import webdriver import os headers={ ‘user-agent’ : ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/53......
Python Pyspider实战：V2EX网站帖子爬取与数据存储
本文旨在通过实战演示如何利用Pyspider爬取V2EX网站的帖子内容，尤其是问题和正文。 在开始之前，确保你已经安装了Pyspider和MySQL-python库，如果没有，参考之前的文章避免遇到不必要的问题。在学习过程中，作者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值