2024年Python最新【Python爬虫】爬取公众号文章制作成PDF(1)，阿里巴巴面试笔试题

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

将手机连好同个局域网的 WIFI

然后打开 fiddler

在手机上刷一下

这个公众号的历史文章

往下多滑几下

然后来看看 fiddler 抓到了什么数据

可以发现就是这个接口一直在请求

来看看其中一个具体数据请求

可以发现

微信在获取公众号历史文章的时候

有这么些参数是要携带的

小编看了下

比较重要的两个参数是

offset 和 is_ok

应该是用来加载更多文章的参数

其他的什么 token 参数

到时候我们直接复制到 python 中进行请求就好了

再来看看返回的数据长什么鸟样

返回了一个 json

这里有个 next_offset字段

小编发现它就是用来下次请求的时候

用于 offset 这个字段的

can_msg_continue

就是用于下次请求的 is_ok 字段的

我们再来看看具体每次请求得到的

列表内容

数据很明显了

list 里面的每一个 item

都是小帅b发过的文章信息

标题、链接、作者、原文地址、封面图啥都有了

那如何区分文章是否原创的呢

看了一会发现

copyright_stat= 11

就是原创

知道了请求规则

以及返回数据的格式

接下来就可以使用代码获取啦

先来把 header 和 cookies 定义一下

假装自己是在用手机请求数据

在请求的时候

需要携带参数

这里主要是控制一下 offset

用来加载更多数据

定义好了之后

就可以使用 requests 进行请求了

先来获取所有的原创文章

然后打印一下看看

主要就是将返回的数据

使用 json 进行解析

然后判断是否可以获取更多的数据

如果还有数据的话

我们就递归请求

ok

执行一波

公众号的所有原创文章

就被我们爬取下来啦

开心得像条狗

接下来

把文章转化为 pdf 文件

怎么弄

其实小帅b也不知道…

遇到事情不要慌

上 Google 搜索一下呗

装下b

用英文搜索

点进去第一个链接看看

woc！！

一行代码搞定？？

赶紧安装试试看

安装完成之后

在代码使用一下

自己定义存储路径

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！