Markdowner:快速转化网站为LLM友好的Markdown数据🚀📝
在信息爆炸的时代,整理和保存有价值的内容是一项挑战。为此,我们向您推荐一个开源工具——Markdowner,它能将任何网站轻松转化为适合大型语言模型(LLM)处理的Markdown格式数据。这个创新解决方案旨在优化内容存储和检索,提高AI响应质量。
为什么选择Markdowner? 💡
Markdowner 是由Supermemory项目的需求催生的产物。在构建AI应用时,开发者发现结构化、规范化的Markdown格式数据能够显著提升LLM的响应效果。尽管市面上已有其他类似工具,如Rasa和FireCrawl,但它们要么昂贵、封闭源码,要么功能受限或部署复杂。因此,Markdowner 应运而生,以免费、易用且高效的特点,填补了这一空白。
功能亮点 🌟
- 转换任意网站:Markdowner 可将任何网址转化成Markdown文本。
- LLM过滤器:利用LLM去除无关信息,提供精炼内容。
- 详细模式:提供完整的HTML内容详细响应选项。
- 自动爬虫:无需站点地图,也能抓取子页面内容。
- 多格式响应:支持文本和JSON格式的响应结果。
- 简单自托管:一键部署,便于个人或团队使用。
使用方法 📖
通过发起GET请求至 https://md.dhr.wtf
即可调用Markdowner服务,参数包括必需的网站URL以及可选的详细响应和子页爬取设置。例如:
$ curl 'https://md.dhr.wtf/?url=https://example.com'
技术解构 🔧
Markdowner 核心依赖于Cloudflare的浏览器渲染技术和耐用对象(Durable Objects),这使得能够在服务器端模拟真实浏览器环境并使用Turndown库进行Markdown转换。以下是其背后的架构图示:
自主托管 🏠
想要自行部署Markdowner?只需几步就能实现:
- 克隆仓库并安装依赖:
git clone https://github.com/dhravya/markdowner npm i
- 创建Cloudflare KV命名空间,并更新
Wrangler.toml
中的ID。 - 运行
npm run deploy
完成部署。
支持我们 ❤️
您的认可对我们至关重要,如果Markdowner对您有所帮助,请别忘了给我们的GitHub仓库点个星哦!⭐
Markdowner 的出现,不仅是解决特定问题的工具,更是推动信息管理方式革新的力量。无论是个人博客的备份,还是企业知识库的建立,甚至是AI学习系统的搭建,Markdowner 都能成为您得力的助手。现在就尝试Markdowner,让内容管理和分析变得更加简单高效!