2024年最全python爬虫公众号所有信息，并批量下载公众号视频，面试官不礼貌

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

import requests

import jsonpath

import json

headers = {

“User-Agent”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36”,

“Host”: “mp.weixin.qq.com”,

“Referer”: “https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040”,

“Cookie”: “自己获取信息时的cookie”

}

def getInfo():

for i in range(80):

token random 需要要自己的 begin：参数传入

url = “https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9”.format(str(i * 5))

response = requests.get(url, headers = headers)

jsonRes = response.json()

titleList = jsonpath.jsonpath(jsonRes, “$…title”)

coverList = jsonpath.jsonpath(jsonRes, “$…cover”)

urlList = jsonpath.jsonpath(jsonRes, “$…link”)

遍历 构造可存储字符串

for index in range(len(titleList)):

title = titleList[index]

cover = coverList[index]

url = urlList[index]

scvStr = “%s,%s, %s,\n” % (title, cover, url)

with open(“info.csv”, “a+”, encoding=“gbk”, newline=‘’) as f:

f.write(scvStr)

获取结果(成功)：

二、获取文章内视频：实现批量下载

---

通过对单篇视频文章分析，我找到了这个链接：

通过网页打开发现，是视频的网页下载链接：

哎，好像有点意思了，找到了视频的网页纯下载链接，那就开始吧。

发现链接里的有一个关键参数vid 不知道哪来的？

和获取到的其他信息也没有关系，那就只能硬来了。

通过对单文章的url请求信息里发现了这个参数，然后进行获取。

response = requests.get(url_wxv, headers=headers)

我用的是正则，也可以使用xpath

jsonRes = response.text # 匹配:wxv_1105179750743556096

dirRe = r"wxv_.{19}"

result = re.search(dirRe, jsonRes)

wxv = result.group(0)

print(wxv)

视频下载：

def getVideo(video_title, url_wxv):

video_path = ‘./videoFiles/’ + video_title + “.mp4”

页面可下载形式

video_url_temp = “https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=” + wxv

response = requests.get(video_url_temp, headers=headers)

content = response.content.decode()

content = json.loads(content)

url_info = content.get(“url_info”)

video_url2 = url_info[0].get(“url”)

print(video_url2)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！