我用 Python 做了一个轻松爬取各大网站文章并输出为 Markdown 的工具！

前言

大家好，我是「周三不Coding」。

最近摸鱼看技术文章的时候，突然想到了两个需求，想与大家分享一下：

1. 爬取各大技术网站的文章，转化为 Markdown 格式，防止文章由于不明原因下架。这样可以在本地保存一些高质量文章。
2. 整理自己过去发布的文章。（我之前写的一些文章并没有在本地备份）

说干就干，我用了几个小时，编写并发布了一个文章爬取工具：Article Crawler，

接下来，我给大家分享一下我的制作过程！

其中包含详细的 README 文档

Github 地址：github.com/ltyzzzxxx/a…

PyPi 地址：pypi.org/project/art…

需求分析与技术选型

对于爬取类的需求来说，我毫不犹豫地选择了 Python 来编写代码，毕竟一提到爬虫，大家第一反应就是 Python。它确实很方便，提供了很多方便快捷的包。

我们首先拆解一下需求，来确定最终需要使用的 Python 包。

1. 从某个网站中爬取文章，需要定位文章的位置。网站中除了文章信息之外，可能还有推荐信息、作者信息、广告信息等。因此，我们需要将整个网站内容爬取下来，并从中搜索得出文章的内容。
2. 将 HTML 文章内容转换 Markdown 格式，并输出到本地指定目录中。

对于第一个需求，我们使用 request 与 BeautifulSoup 包。

• 使用 request 包向指定网站发送请求，获取其 HTML 内容。

• 使用 BeautifulSoup 包在指定 HTML 内容中，查找对应的文章内容。

  Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库。它能够通过你喜欢的转换器实现惯用的文档导航 / 查找 / 修改文档的方式。Beautiful Soup 会帮你节省数小时甚至数天的工作时间。

对于第二个需求，我们使用 html2text 包。

• 使用 html2text 包，将指定的 HTML 文章内容，渲染为对应的 Markdown 格式。

总结技术栈如下：

技术栈	作用
request	向指定网站发送请求，获取 HTML 内容
BeautifulSoup (bs4)	快速从 HTML 内容中依据指定条件查找内容
html2text	将指定的 HTML 内容染为 Markdown 格式

实现方案

实现流程图如下：

对于这一系列流程，我将其抽象为一个类 ArticleCrawler。

具体代码位于 article_crawler/article_crawler.py 文件中

其初始化 __init__ 方法如下：

def __init__(self, url, output_folder, tag, class_, id=&#