python爬取微信公众号文章(包含文章内容和图片)

    之前虽然做过网页爬取,但微信爬取一直没做过,因为我一直不知道网页可以进微信公众平台,只用过微信客户端进微信公众号。既然可以通过网页进微信公众平台,那么爬取微信公众号文章就流程上就没太多难度了。

    自己在网上找的一些python爬虫文章不太好用,就亲自写了一套,包括详细的页面附图和代码注释,代码复制下来后可以直接运行,供需要的同行参考交流。  爬取微信公众号文章之前,需要先申请微信公众号,针对个人使用的订阅号就行。

    爬取微信公众号文章有两种思路:

   一种是通过搜狗浏览器爬取,因为微信公众平台为搜狗提供了访问接口。

  第二种种就是通过google或firefox浏览器来爬取,本篇文章只讲解第二种方式,但第一种方式也可以借鉴第二种方式的部分代码。

    1、通过调用谷歌或火狐浏览器驱动,模拟微信公众号登录,获取到cookies(里面包含登录身份的token值),将cookies保存到本地文件中,供以后面访问微信公众号时携带身份识别之用。

    页面如下:

 点击登录后跳出来扫描验证页面:

 

login.py文件代码如下:

# -!- coding: utf-8 -!-
from selenium import webdriver
import time
import json

#谷歌和火狐两种驱动人选一种即可
# 调用谷歌浏览器驱动   如果本地电脑未安装谷歌驱动,请网上下载
driver = webdriver.Chrome()
# 调用火狐浏览器驱动   如果本地电脑未安装火狐驱动,请网上下载
# driver = webdriver.Firefox()
driver.get("https://mp.weixin.qq.com/") # 微信公众平台网址
driver.find_element_by_link_text("使用帐号登录").click() # 此行代码为2020.10.10新增,因为微信公众号页码原来默认直接为登录框, 现在默认为二维码,此行代码可以将二维码切换到登录框页面
driver.find_element_by_name("account").clear()
driver.find_element_by_name("account").send_keys("1466617803@qq.com")  # 自己的微信公众号
time.sleep(2)
driver.find_element_by_name("password").clear()
driver.find_element_by_name("password").send_keys("*******")  # 自己的微信公众号密码
driver.find_element_by_class_name("icon_checkbox").click()

time.sleep(2)
driver.find_element_by_class_name("btn_login").click()
time.sleep(15)
#此时会弹出扫码页面,需要微信扫码
cookies = driver.get_cookies()  # 获取登录后的cookies
print(cookies)
cookie = {}
for items in cookies:
    cookie[items.get("name")] = items.get("value")
# 将cookies写入到本地文件,供以后程序访问公众号时携带作为身份识别用
with open('cookies.txt', "w") as file:
    #  写入转成字符串的字典
    file.write(json.dumps(cookie))

    2、扫码后进入公众号首页,点击左侧的“图文素材”,在点击右侧的“图文模板”,如下图:

 

3、点击完“图文模板”后进入如下界面,并点击“新建图文模板”:

 

4、点击完“新建图文模板”后,等待5~6秒,进入如下页面:

 

5、点击上图中红色框处的“超链接”,进入如下页面,点击“选择其他公众号”,选择查找文章,在公众号中输入要查询的公众号,并点击输入框右侧的放大镜查询标识,例如输入“共轨之家”(别想歪了哈,只是个介绍汽车维修资料的公众号哈):

6、选中搜索出来的符合要求的公众号(当然也可以用微信公众号的唯一id搜,例如:gongguizhijia),单击后进入公众号,可以看到该公众号下的文章,如下图:

下拉到底部,可以看到页码:

7、此时要上代码了,先分析一下文章的分页和F12后可以看到的请求信息。

    (1)、我们看到总共53页,每页展示20条。

    (2)、F12查看请求方式,请求头如下图:

    (3)不断的点击不同页码,发现查询参数begin的值和页码的关系为:begin=(当前页-1)*5,count值始终为5,token值可以从浏览器中获取。

   8、爬取该公众号下的所有文章的名字、唯一表示、链接,保存到本地文件article_link中,供爬取文章页面用(此处微信有访问频率限制,具体多少没详细测,我连续访问32次后被限制访问,提醒我操作频繁)。

         get_article_link.py代码如下:

# -*- coding:utf-8 -*- 
import requests
import json
import re
import random
import time

with open("cookies.txt", "r") as file:
    cookie = file.read()
cookies = json.loads(cookie)
url = "https://mp.weixin.qq.com"
response = requests.get(url, cookies=cookies)
token = re.findall(r'token=(\d+)', str(response.url))[0]  # 从url中获取token
print(token)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
    "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&token="+token+"&lang=zh_CN",
    "Host": "mp.weixin.qq.com",
}
# requestUrl = "https://mp.weixin.qq.com/cgi-bin/searchbiz"
with open('article_link.txt', "w", encoding='utf-8') as file:
    for j in range(1, 53, 1):
        begin = (j-1)*5
        requestUrl = "https://mp.weixin.qq.com/cgi-bin/appmsg?token="+token+"&lang=zh_CN&f=json&ajax=1&random="+str(random.random())\
                     +"&action=list_ex&begin="+str(begin)+"&count=5&query=&fakeid=MzA3NDM2ODIzMQ%3D%3D&type=9"
        search_response = requests.get(requestUrl, cookies=cookies, headers=headers)
        re_text = search_response.json()
        print(re_text)
        list = re_text.get("app_msg_list")
        for i in list:
            file.write(i["aid"]+"<=====>"+i["title"]+"<=====>"+i["link"] + "\n")
            print(i["aid"]+"<=====>"+i["title"]+"<=====>"+i["link"])
        time.sleep(20)

9、获取到的链接保存格式为:

10、解析上一步获取到的文章链接,

download_article.py代码如下:

# -*- coding:utf-8 -*-

import json
import re
import time
from bs4 import BeautifulSoup
import requests
import os


# 保存页面到本地
def save_html(url_content,htmlDir,file_name):
    f = open(htmlDir+"\\"+file_name+'.html', 'wb')
    f.write(url_content.content)  # save to page.html
    f.close()
    return url_content


# 修改文件,将图片路径改为本地的路径
def update_file(old, new,htmlDir):
    with open(htmlDir+"\\"+file_name+'.html', encoding='utf-8') as f, open(htmlDir+"\\"+file_name+'_bak.html', 'w',
                                                        encoding='utf-8') as fw:  # 打开两个文件,原始文件用来读,另一个文件将修改的内容写入
        for line in f:  # 遍历每行,取出来的是字符串,因此可以用replace 方法替换
            new_line = line.replace(old, new)  # 逐行替换
            new_line = new_line.replace("data-src", "src")
            fw.write(new_line)  # 写入新文件
    os.remove(htmlDir+"\\"+file_name+'.html')  # 删除原始文件
    time.sleep(10)
    os.rename(htmlDir+"\\"+file_name+'_bak.html', htmlDir+"\\"+file_name+'.html')  # 修改新文件名, old -> new
    print('当前保存文件为:'+file_name+'.html')

# 保存图片到本地
def save_file_to_local(htmlDir,targetDir,search_response,domain):
    obj = BeautifulSoup(save_html(search_response,htmlDir,file_name).content, 'lxml')  # 后面是指定使用lxml解析,lxml解析速度比较快,容错高。
    imgs = obj.find_all('img')
    # 将页面上图片的链接加入list
    urls = []
    for img in imgs:
        if 'data-src' in str(img):
            urls.append(img['data-src'])
        elif 'src=""' in str(img):
            pass
        elif "src" not in str(img):
            pass
        else:
            urls.append(img['src'])
    # 遍历所有图片链接,将图片保存到本地指定文件夹,图片名字用0,1,2...
    i = 0
    for each_url in urls:  # 看下文章的图片有哪些格式,一一处理
        if each_url.startswith('//'):
            new_url = 'https:' + each_url
            r_pic = requests.get(new_url)
        elif each_url.startswith('/') and each_url.endswith('gif'):
            new_url = domain + each_url
            r_pic = requests.get(new_url)
        elif each_url.endswith('png') or each_url.endswith('jpg') or each_url.endswith('gif') or each_url.endswith('jpeg'):
            r_pic = requests.get(each_url)
        t = os.path.join(targetDir, str(i) + '.jpeg')  # 指定目录
        print('当前保存图片为:' + t)
        fw = open(t, 'wb')  # 指定绝对路径
        fw.write(r_pic.content)  # 保存图片到本地指定目录
        i += 1
        update_file(each_url, t, htmlDir)  # 将老的链接(有可能是相对链接)修改为本地的链接,这样本地打开整个html就能访问图片
        fw.close()
#下载html页面和图片
def save(search_response,file_name):
    htmlDir = os.path.join(os.path.dirname(os.path.abspath(__file__)), file_name)
    targetDir = os.path.join(os.path.dirname(os.path.abspath(__file__)),file_name+'\imgs1')  # 图片保存的路径,eg,向前文件夹为'D:\Coding', 即图片保存在'D:\Coding\imgs1\'
    if not os.path.isdir(targetDir):  # 不存在创建路径
        os.makedirs(targetDir)
    domain = 'https://mp.weixin.qq.com/s'
    save_html(search_response, htmlDir,file_name)
    save_file_to_local(htmlDir, targetDir, search_response, domain)
# 获得登录所需cookies
with open("cookies.txt", "r") as file:
    cookie = file.read()
cookies = json.loads(cookie)
url = "https://mp.weixin.qq.com"
response = requests.get(url, cookies=cookies)
token = re.findall(r'token=(\d+)', str(response.url))[0]
print(token)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
    "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=10&token="+token+"&lang=zh_CN",
    "Host": "mp.weixin.qq.com",
}
f = open("article_link.txt", encoding='utf-8')   # 返回一个文件对象
line = f.readline()   # 调用文件的 readline()方法
for line in open("article_link.txt", encoding='UTF-8'):
    new_line = line.strip()
    line_list = new_line.split("<=====>")
    file_name = line_list[0]
    dir_name = line_list[1]
    requestUrl = line_list[2]
    search_response = requests.get(requestUrl, cookies=cookies, headers=headers)
    save(search_response,  file_name)
    print(file_name+"----------------下载完毕:"+dir_name+"----------------下载完毕:"+requestUrl)
    time.sleep(2)
file.close()

11、下载后文章效果:

 

12、选择了google、百度、火狐、ie、Edge五种浏览器测试效果,其中google、百度、Edge浏览器正常打开带图片的页面,firefox浏览器只有文字,没有图片,ie打不开页面。综上,该爬取效果基本能满足需要。

Python可以用于爬取微信公众号文章。有几种方式可以实现这一目标,其中一种方式是通过登录微信公众号平台,在里面搜索要爬取的公众号,然后进行抓包。另外一种方式是使用安卓模拟器进行抓包。还可以使用搜狗的微信模块来获取数据。 在使用第一种方式时,首先需要拥有一个微信公众号的账号。然后,通过工具如pycharm和fiddler等,登录微信公众号平台,进入创作管理,选择图文素材,然后创建或编辑文章。最后,通过添加引用和查找公众号文章等步骤,进行数据的爬取和收集。 在实现这些步骤之前,你需要了解微信公众号平台的主要功能和界面布局。主面板可以划分为七大块,每个块都有不同的功能。在后续的操作中,你可以使用Python代码来模拟微信请求,并实现数据的爬取和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [欢度国庆⭐️共享爬虫之美⭐️基于 Python 实现微信公众号爬虫Python无所不能)](https://blog.csdn.net/xiejiachao/article/details/120573509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [【爬虫python爬取微信公众号](https://blog.csdn.net/qq_36269293/article/details/109244944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 35
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值