如何高质量增量训练lac分词模型

LAC 是百度开源的高质量分词工具(GRU+CRF),其提供增量训练的接口,形如:

from LAC import LAC

# 选择使用分词模型
lac = LAC(mode = 'seg')

# 训练和测试数据集,格式一致
train_file = "./data/seg_train.tsv"
test_file = "./data/seg_test.tsv"
lac.train(model_save_dir='./my_seg_model/',train_data=train_file, test_data=test_file)

# 使用自己训练好的模型
my_lac = LAC(model_path='my_seg_model',mode = 'seg')

如何针对不同的业务场景,来优化分词结果呢?
最简单的方式,就是构建与场景相关的训练语料,增量训练lac模型。
笔者有一个小思路:
构建一个高质量的词库(如jieba词典、搜狗词库),根据jieba分词或原始lac分词,过滤出分词结果都在词库中的语料,并优化语料(合并分太细的词,切开分太粗的词),最后增量训练,done。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值