输入法之模型剪枝一(基于熵的剪枝)

本文探讨了输入法模型的剪枝技术,主要介绍了基于熵的剪枝方法,包括entropy-based和rank-based策略。通过计算模型熵的变化和rank差异来评估剪枝效果。在实际操作中,由于输入法模型的规模庞大,通常需要减少90%的数据,而基于熵的剪枝能有效保持模型性能,剪枝20%左右即可达到理想效果。
摘要由CSDN通过智能技术生成
prunning,剪枝,顾名思义就是减掉那些不重要的。

从理论上来讲,剪枝达到的效果就是剪枝后的q和剪枝前的 p 最大化相似,有两种算法 entroy-based以及rank-based。

针对model,使用相对熵来刻画D(q||p) 来刻画,保证两个model的熵差别最小,就是entropy-based。如果使用rank(p|q)来描述,保证整个model的rank差别最小(主要是针对同一个bigram pair的left word),就是rank-based。

对于smoothing,我们使用的是katz平滑。
entropy-
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值