![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实用自然语言处理技术
文章平均质量分 85
Syntax_CD
这个作者很懒,什么都没留下…
展开
-
从经典学习 NLP:小白到大白:1. Word Tokenization
由于chinese本身的character,也就是汉字,具有丰富的意义,研究表明,chinese NLP 中,以 character 作为 input 会比 words 更好。基于 subword,任何 unknow words 都可以由某些 subwords units 序列构成,比如 lower,可以由 low 和 -er 这两个 subwords 组成,或者,如果有必要,可以视为由 -l, -o,-w, -e, -r 等一系列 letter 构成。是 BPE algorithm 的参数。原创 2024-03-01 22:08:16 · 957 阅读 · 0 评论 -
五大自然语言处理技术里程碑浅析
随着深度学习和大数据技术的进步,自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言,以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。而自然语言处理的研究与业界发展中具有五大里程碑式的技术:词嵌入,循环神经网络,Transformer,注意力机制,大语言模型。原创 2024-01-25 00:04:31 · 1413 阅读 · 0 评论