Python抓取公众号文章并生成pdf文件保存到本地

公众号文章转存到本地的效果图

友情提示: 所有的抓包操作，请用自己的微信小号来操作，我不知道官方会不会有封号操作，反正小心使得成年船!

分页的时候数据出现了重复

我发现这里返回的数据有一个next_offset这个字段，看意思就是想下一页的数据偏移量，于是我把数据每次取出来之后，重新赋值，发现数据果然没有再次重复了.

 self.offset = all_datas['next_offset']  # 下一页的偏移量
 self.request_data()

什么时候爬取完了数据，根本不知道

我在Charles中不断抓取数据，发现在抓取到尾页的时候，发现 can_msg_continue 状态变为0了,于是有了这一行代码

  if 0 == all_datas['ret'] and 1 == all_datas['can_msg_continue']:

那些文章是原创，那些文章非原创还没有标记

很多时候我比较喜欢原创文章，也深深尊重这些原创工作者，他们的文章都花费了大量心血，公众号正好有原创标记，所以我猜应该有原创字段标识, 我通过Charles抓包分析,  发现 copyright_stat 这个字段与版权意思比较接近，然后再进一步分析，发现这个状态等于11的时候，是为原创

copyright = data['app_msg_ext_info']['copyright_stat']
copyright = '原创文章_' if copyright == 11 else '非原创文章_'

完整的抓取数据代码就是这些：

   def parse_data(self, response_data):

       all_datas = json.loads(response_data)

       if 0 == all_datas['ret'] and 1 == all_datas['can_msg_continue']:
           summy_datas = all_datas['general_msg_list']
           datas = json.loads(summy_datas)['list']
           for data in datas:
               try:
                   title = data['app_msg_ext_info']['title']
                   title_child = data['app_msg_ext_info']['digest']
                   article_url = data['app_msg_ext_info']['content_url']
                   cover = data['app_msg_ext_info']['cover']
                   copyright = data['app_msg_ext_info']['copyright_stat']
                   copyright = '原创文章_' if copyright == 11 else '非原创文章_'
                   self.count = self.count + 1
                   print('第【{}】篇文章'.format(self.count), copyright, title, title_child, article_url, cover)
                   self.creat_pdf_file(article_url, '{}_{}'.format(copyright, title))
               except:
                   continue

           time.sleep(3)
           self.offset = all_datas['next_offset']  # 下一页的偏移量
           self.request_data()
       else:
           if 0 == all_datas['can_msg_continue']:
               exit('数据抓取完毕！')
           else:
               exit('数据抓取出错:' + all_datas['errmsg'])

把公众号文章转存到本地. 方便以后阅读.

仅仅把文章抓取到完全不能满足我的兴趣，我想把有价值的公众号文章放到本地自己来查看一下,于是我就有了我把文章转成pdf 文档的想法，怎么把文章转成pdf文档呢,

分下面三步操作:

• 电脑上安装  wkhtmltopdf

  wkhtmltopdf 下载地址：https://wkhtmltopdf.org/downloads.html, 我的电脑是win10,64位，所以我下载了 下载版本 Windows (MinGW) 0.12.4 32-bit / 64-bit for Windows XP/2003 or later; standalone.

• 在Pycharm的setting中安装 pdfkit 与 wkhtmltopdf 这两个库.

  
  
  

  
  

• 生成pdf文件.

  self.config = pdfkit.configuration(wkhtmltopdf='C:/Program Files/wkhtmltopdf/bin/wkhtmltopdf.exe') # 这里需要配置一下wkhtmlpdf.exe路径

   def creat_pdf_file(self, url, title):
       try:
           file = 'D:/store/file/{}.pdf'.format(title)
           if not os.path.exists(file): # 过滤掉重复文件
               pdfkit.from_url(url, file, configuration=self.config)

       except Exception as e:
           print(e)

效果图如下：

缺点还是有的，网页中的图片无法写入在pdf文件中,另外这个pdfkit用法还有很多，这里我就不深入了，有兴趣的朋友可以自行深入!

文章源码完整代码，由于篇幅有限，请后台回复 公众号抓取文章源码