公众号爬取转PDF，Python轻松搞定

微信公众号爬取，网上的东西很多。

这里主要分两个阶段

1. 把公众号的文章URL爬取并保存下来。

2. 根据这些URL把内容下载下来。

把URL 爬取下来

这里采用了，微信公众平台的方法，也就是你先申请一个公众号啊，能登录微信公众平台啊。自己的这个公众号发文章的时候，超链接，可以选择别人微信公众号，搜索相关的文章啊，也就是从这里能够拿到相关的url。

我们利用这个senium，扫码登录后，就把相关的cookie存下来。

参考了https://www.cnblogs.com/xiao-apple36/p/9447877.html， 代码也主要是这里的啊。

写的很清楚，可以仔细看一看。

感谢 一只小小的寄居蟹

下载生成PDF

经过一圈的捣鼓啊，开始用import pdfkit 还是能用的啊，内容下载的也挺顺利的。（对付静态的网页）

现在这个微信改了，看起来都js了，这个pdfkit下载下来就基本空白了啊。

怎么办呢？

我们不是有senium么，用这个神器啊。

全部pagesource

driver = webdriver.Chrome()

driver.get(url)

html_content = driver.page_source

可以只要txt

html_content = driver.find_element(By.CLASS_NAME, "rich_media").text

捣鼓了一下 weasyprint

from weasyprint import HTML

html1 = HTML(string = html_content)

#html1 = HTML(filename = './page_content.html')

html1.write_pdf('test.pdf')

最后用了pyhtml2pdf

from pyhtml2pdf import converter

converter.convert(url, 'test2.pdf', timeout=2)

这个生产 PDF还是比较快的啊，推荐使用。

到此，简易版本就做完了，下载了想下的公众号。

用pyinstaller 在windows上打包了一个exe文件，放在了微信公众号 “随意都是朋友”

如果需要，关注发送“wecrawler”

欢迎联系此公众号交流。

再次感谢一只小小的寄居蟹