用本地大模型(llama3)进行数据分类标记|LLM 用例

001|背景

这是我最新发布的导航站点 https://aiwith.me

这个站点由于第一版数据来源于第三方,只有站点基础数据,没有对数据进行分类,最近站点上线了,主体框架都搭建完成了,这才有空去对数据做分类. 目前的快捷筛选,完全依靠关键字匹配检索。

前期为了快速上线,直接拿到词频相对较高和常用的词语进行筛选。
这样过于粗暴,而且有时候不太准确。

AI WITH.ME 关键字筛选

002|分类方案

数据量多了之后,这样的筛选会越来越不准确,有时候站点信息没有这些关键字,但分类上是一致的。
为更好的把站点按照类型区分,我想了这些办法:

1、人工标记 - 历史数据太多了,太费时()
2、通过大模型去分类 - Kimi 或者 ChatGPT-3.5
3、通过本地大模型去分类-正好测试一下本地大模型的性能和准确性如何。

最后选择了第三种方案,因为不需要 API 成本,并且可以试试本地模型性能!

003|使用 Ollma 运行本地模型

使用 Ollma 来快捷的运行本地大模型:
ollama 介绍</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值