Markdowner：快速转化网站为LLM友好的Markdown数据

Markdowner：快速转化网站为LLM友好的Markdown数据🚀📝

在信息爆炸的时代，整理和保存有价值的内容是一项挑战。为此，我们向您推荐一个开源工具——Markdowner，它能将任何网站轻松转化为适合大型语言模型（LLM）处理的Markdown格式数据。这个创新解决方案旨在优化内容存储和检索，提高AI响应质量。

为什么选择Markdowner? 💡

Markdowner 是由Supermemory项目的需求催生的产物。在构建AI应用时，开发者发现结构化、规范化的Markdown格式数据能够显著提升LLM的响应效果。尽管市面上已有其他类似工具，如Rasa和FireCrawl，但它们要么昂贵、封闭源码，要么功能受限或部署复杂。因此，Markdowner 应运而生，以免费、易用且高效的特点，填补了这一空白。

功能亮点 🌟

• 转换任意网站：Markdowner 可将任何网址转化成Markdown文本。
• LLM过滤器：利用LLM去除无关信息，提供精炼内容。
• 详细模式：提供完整的HTML内容详细响应选项。
• 自动爬虫：无需站点地图，也能抓取子页面内容。
• 多格式响应：支持文本和JSON格式的响应结果。
• 简单自托管：一键部署，便于个人或团队使用。

使用方法 📖

通过发起GET请求至 https://md.dhr.wtf 即可调用Markdowner服务，参数包括必需的网站URL以及可选的详细响应和子页爬取设置。例如：

$ curl 'https://md.dhr.wtf/?url=https://example.com'

技术解构 🔧

Markdowner 核心依赖于Cloudflare的浏览器渲染技术和耐用对象（Durable Objects），这使得能够在服务器端模拟真实浏览器环境并使用Turndown库进行Markdown转换。以下是其背后的架构图示：

自主托管 🏠

想要自行部署Markdowner？只需几步就能实现：

1. 克隆仓库并安装依赖：

   git clone https://github.com/dhravya/markdowner
   npm i
   

2. 创建Cloudflare KV命名空间，并更新Wrangler.toml中的ID。
3. 运行 npm run deploy 完成部署。

支持我们 ❤️

您的认可对我们至关重要，如果Markdowner对您有所帮助，请别忘了给我们的GitHub仓库点个星哦！⭐

Markdowner 的出现，不仅是解决特定问题的工具，更是推动信息管理方式革新的力量。无论是个人博客的备份，还是企业知识库的建立，甚至是AI学习系统的搭建，Markdowner 都能成为您得力的助手。现在就尝试Markdowner，让内容管理和分析变得更加简单高效！