python 下载公众号文章_python3下载公众号历史文章

最近担心一直关注的公众号的文章突然失踪，心心念念的文章一定要拽住自己手中才好。于是找了各种办法，其实网上有代理采集的，想想为了长久之计还是自己研究一个办法出来。

于是百度谷歌必应各种搜索引擎上手，第一次爬虫经历就这样花生了~~~

好吧，其实也完全是照抄，感谢大神！

还没有安装python可以先下载一个anoconda3：https://www.anaconda.com/

1.终端加载python selenium模块包

加载包

2.使用webdriver功能需要安装对应浏览器的驱动插件，我用的是谷歌浏览器。安装和浏览器版本对应的webdriver版本，解压后记下 chromedriver.exe 路径。对应版本查询和下载链接：http://blog.csdn.net/huilan_same/article/details/51896672

3.注册自己的公众号：微信公众号登陆地址：https://mp.weixin.qq.com/

4.参考：

我照抄代码的那位大神：https://blog.csdn.net/d1240673769/article/details/75907152

崔庆才原文(另有探究代码过程视频)：https://mp.weixin.qq.com/s?__biz=MzI5NDY1MjQzNA==&mid=2247483970&idx=1&sn=cde40462d2346ded8e8c11ab4442bbab&chksm=ec5edd3fdb2954299e5b4736b3729014d4853e50e643de06640ba3af370753db069667511db1&mpshare=1&scene=1&srcid=0612suzxGJXTmoak9i81rRSZ&pass_ticket=YsJz0pUrK8Yj6XuoyHfGbfjFAgRZ9wHQMTLCnfaYLlQGaOXangzh2LWgrfB8lf76#rd

6.我的webdriver不知道是版本没对上还是什么原因，不能实现自动输入，注释掉，手动输入解决。

7.原文保存的是文章标题和链接，我需要保存到本地。用过两种方法，一个是生成pdf格式，一个是保存为html格式。

(1)保存为html格式，终端加载pip install urllib,然后

import urllib.request

使用：urllib.request.urlretrieve('www.taobao.com','taobao.html')

(2)生成pdf较为复杂一些，不过有此方法，以后如果有需要，保存网址为pdf也方便许多。不过这方面的需求用印象笔记的浏览器插件已经相当满足了。

pip intall pdfkit

pip install requests

pip install beautifulsoup4

安装 wkhtmltopdf，Windows平台直接在 http://wkhtmltopdf.org/downloads.html 下载稳定版的 wkhtmltopdf 进行安装，安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中，否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”

方便使用，自己写了一个简单的模块：

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

'a html to pdf model'

'''

使用示例：python htmltopdf_dl.py www.taobao.com baidu.pdf

'''

_author_ = 'dengling'

import pdfkit

import sys

def htmltopdf_dl():

ags = sys.argv

pdfkit.from_url(ags[1],ags[2])

if __name__ =='__main__':

htmltopdf_dl()

8.缺点：(1)用这个方法只在一个安静平和的夜晚奇妙地爬完了所有的文章。其余时候再也没有完整的爬取过所有的链接了。(2)因为保存本地html时参数识别标题的特殊符号比如''时会出错，所以不能一下子全转换过来。(3)图片不能一起保存下来。

完整代码：

# -*- coding: utf-8 -*-

from selenium import webdriver

import time

import json

import requests

import re

import random

#微信公众号账号

user="你的账户"

#公众号密码

password="你的密码"

#设置要爬取的公众号列表

gzlist=['公众号名字']

#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中

def weChat_login():

#定义一个空的字典，存放cookies内容

post={}

#用webdriver启动谷歌浏览器

print("启动浏览器，打开微信公众号登录界面")

driver = webdriver.Chrome(executable_path='E:\微信公众号\chromedriver.exe')

#打开微信公众号登录页面

driver.get('https://mp.weixin.qq.com/')

#等待5秒钟

time.sleep(5)

print("正在输入微信公众号登录账号和密码......")

#清空账号框中的内容

driver.find_element_by_xpath("./*//input[@id='account']").clear()

#自动填入登录用户名

driver.find_element_by_xpath("./*//input[@id='account']").send_keys(user)

#清空密码框中的内容

driver.find_element_by_xpath("./*//input[@id='pwd']").clear()

#自动填入登录密码

driver.find_element_by_xpath("./*//input[@id='pwd']").send_keys(password)

# 在自动输完密码之后需要手动点一下记住我

print("请在登录界面点击:记住账号")

time.sleep(10)

#自动点击登录按钮进行登录

driver.find_element_by_xpath("./*//a[@id='loginBt']").click()

# 拿手机扫二维码！

print("请拿手机扫码二维码登录公众号")

time.sleep(20)

print("登录成功")

#重新载入公众号登录页，登录之后会显示公众号后台首页，从这个返回内容中获取cookies信息

driver.get('https://mp.weixin.qq.com/')

#获取cookies

cookie_items = driver.get_cookies()

#获取到的cookies是列表形式，将cookies转成json形式并存入本地名为cookie的文本中

for cookie_item in cookie_items:

post[cookie_item['name']] = cookie_item['value']

cookie_str = json.dumps(post)

with open('cookie.txt', 'w+', encoding='utf-8') as f:

f.write(cookie_str)

print("cookies信息已保存到本地")

#爬取微信公众号文章，并存在本地文本中

def get_content(query):

#query为要爬取的公众号名称

#公众号主页

url = 'https://mp.weixin.qq.com'

#设置headers

header = {

"HOST": "mp.weixin.qq.com",

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0"

}

#读取上一步获取到的cookies

with open('cookie.txt', 'r', encoding='utf-8') as f:

cookie = f.read()

cookies = json.loads(cookie)

#登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，从这里获取token信息

response = requests.get(url=url, cookies=cookies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

#搜索微信公众号的接口地址

search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'

#搜索微信公众号接口需要传入的参数，有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

query_id = {

'action': 'search_biz',

'token' : token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'query': query,

'begin': '0',

'count': '5'

}

#打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

search_response = requests.get(search_url, cookies=cookies, headers=header, params=query_id)

#取搜索结果中的第一个公众号

lists = search_response.json().get('list')[0]

#获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = lists.get('fakeid')

#微信公众号文章接口地址

appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'

#搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

query_id_data = {

'token': token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'action': 'list_ex',

'begin': '0',#不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'fakeid': fakeid,

'type': '9'

}

#打开搜索的微信公众号文章列表页

appmsg_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)

#获取文章总数

max_num = appmsg_response.json().get('app_msg_cnt')

#每页至少有5条，获取文章总的页数，爬取时需要分页爬

num = int(int(max_num) / 5)

#起始页begin参数，往后每页加5

begin = 0

while num + 1 > 0 :

query_id_data = {

'token': token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'action': 'list_ex',

'begin': '{}'.format(str(begin)),

'count': '5',

'query': '',

'fakeid': fakeid,

'type': '9'

}

print('正在翻页：--------------',begin)

#获取每一页文章的标题和链接地址，并写入本地文本中

query_fakeid_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)

fakeid_list = query_fakeid_response.json().get('app_msg_list')

for item in fakeid_list:

content_link=item.get('link')

content_title=item.get('title')

fileName=query+'.txt'

with open(fileName,'a',encoding='utf-8') as fh:

fh.write(content_title+":\n"+content_link+"\n")

# fh.write("urllib.request.urlretrieve('"+content_link + "','" + content_title +".html')\n")由于还没有解决标题的符号参数识别会报错的问题，用了这个笨方法去解决的。

num -= 1

begin = int(begin)

begin+=5

time.sleep(2)

if __name__=='__main__':

try:

#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中

weChat_login()

#登录之后，通过微信公众号后台提供的微信公众号文章接口爬取文章

for query in gzlist:

#爬取微信公众号文章，并存在本地文本中

print("开始爬取公众号："+query)

get_content(query)

print("爬取完成")

except Exception as e:

print(str(e))

还好我要的文章都能下载下来了，图片也没有什么用，所以暂时已经能满足了。至于解决这些问题，之后有时间有需要的时候再钻研。