WiseFlow：AI加持的信息挖掘工具

WiseFlow:AI加持的信息挖掘工具

前言

（Wiseflow）是一个敏捷的信息挖掘工具，可以从网站、微信公众号、社交平台等各种信息源中按设定的关注点提炼讯息，自动做标签归类并上传数据库。

我们缺的其实不是信息，我们需要的是从海量信息中过滤噪音，从而让有价值的信息显露出来。

也就是说，我们可以借助这个工具，自动抓取各种相关的信息进行过滤和分类，用作自己的知识库，在配合RAG的话，无疑是知识积累的一大利器。

特点

✅ 通用网页内容解析器，综合使用统计学习（依赖开源项目 GNE）和 LLM，适配90%以上的新闻页面；

✅ 异步任务架构；

✅ 使用LLM进行信息提取和标签分类（最低只需使用9B大小的LLM就可完美执行任务）！

wiseflow 是一个原生的 LLM 应用，仅需 7B~9B 大小 LLM 就可以很好的执行信息挖掘、过滤与分类任务，且无需向量模型，系统开销很小，适合各种硬件环境下的本地化以及私有化部署。

git仓库地址： https://github.com/TeamWiseFlow/wiseflow

7B-9B 的模型在 Mac M3