2020年04月_囚生CY

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创【项目小结】GEC模型训练&评估TRICK——自定义损失函数&预校正模型（autocorrect包）

序言关于GEC问题的概况可以参考笔者之前的几篇博客：【项目小结】英语语法错误检测（GEC）开题论文阅读记录【论文阅读】D19-1435——GEC问题解决的一种方法：PIE架构【论文阅读】D18-1274——GEC模型优化的一种方法：使用质量评估模型【论文阅读】W19-4423——预训练与迁移学习在GEC的应用【项目小结】GEC模型中的难点：分词（Tokenizer）与回译（...

2020-04-28 17:49:46 12071 2

原创【项目小结】训练BERT模型加入到深度学习网络层中——keras_bert库使用填坑指南

1 前言BERT模型的使用可以分为两种形式：第一种使用方法直接将语句序列输入BERT模型获取特征表示，BERT模型一共提供十二层不同的特征向量输出，随层数的递进，特征表示从专于词义表示到专于语义表示而有所区别，此时BERT模型相当于静态的word2vector模型，仅用于特征表示，关于如何获取BERT预训练模型及如何使用第一种方法，可以参考我的博客https://blog.csdn.net/C...

2020-04-21 11:32:55 16071 7

原创【项目小结】python读取arpa数据文件（arpa库使用）

arpa库是用于读取arpa数据文件的python包，由于涉及领域很小，截至本文发布，笔者尚未搜索到有关详尽的教程，因此初次接触arpa数据文件后，没有意识到数据格式问题，单纯通过统计分析得到了一些规律特征，希望能转为常见的csv格式数据文件方便使用，直到发现该包后解析源码得到了简洁的用法，供遇到同样问题朋友以参考。arpa 数据文件格式arpa数据文件是典型的用于存储n-grams模型参...

2020-04-14 22:11:05 13030 1