001|背景
这是我最新发布的导航站点 https://aiwith.me
这个站点由于第一版数据来源于第三方,只有站点基础数据,没有对数据进行分类,最近站点上线了,主体框架都搭建完成了,这才有空去对数据做分类. 目前的快捷筛选,完全依靠关键字匹配检索。
前期为了快速上线,直接拿到词频相对较高和常用的词语进行筛选。
这样过于粗暴,而且有时候不太准确。
002|分类方案
数据量多了之后,这样的筛选会越来越不准确,有时候站点信息没有这些关键字,但分类上是一致的。
为更好的把站点按照类型区分,我想了这些办法:
1、人工标记 - 历史数据太多了,太费时()
2、通过大模型去分类 - Kimi 或者 ChatGPT-3.5
3、通过本地大模型去分类-正好测试一下本地大模型的性能和准确性如何。
最后选择了第三种方案,因为不需要 API 成本,并且可以试试本地模型性能!
003|使用 Ollma 运行本地模型
使用 Ollma 来快捷的运行本地大模型:
ollama 介绍</