![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 52
随笔记录自然语言处理学习过程中的相关知识
祥祥2020
机器学习算法工程师、NLP算法工程师
展开
-
常见激活函数总结(持续更新)
激活函数((Activation functions)就是人工神经网络中的非线性函数,目的是为了给神经网络引入非线性层。原创 2022-11-22 23:09:02 · 416 阅读 · 0 评论 -
02、PMI点互信息 & PPMI(Positive PMI)
在词的向量化表示中,简单的One-Hot会遇到数据稀疏和无法计算词之间距离的问题;分布式频次表示会遇到高频词误导计算结果的问题。基于点互信息的词向量表示方式恰好可以解决上述问题。PMI点互信息1. 概念和公式点互信息(Pointwise Mutual Information,PMI)是信息轮中用来衡量两个事物之间的相关性的一个指标。例如对于词A和词B的点互信息为:其中,表示词A和词B共同出现的频率,表示词A出现的频率,表示词B出现的频率。2. 示例上下文我 喜欢 游泳。原创 2022-03-06 22:00:22 · 1705 阅读 · 2 评论 -
01、词的独热(one-hot)表示
想要利用计算机对自然语言进行处理,需要解决的第一件事便是自然语言的存储和计算问题。最自然和直观的方式便是采用String类型。在String类型的表示下,自然语言的处理往往是基于规则的方式——例如文本情感分类中,可以将“喜欢”、“优秀”等设置为褒义,“厌恶”、“蛮横”设置为贬义词,最简单的分类规则可以采用文本中褒义贬义词的个数...原创 2022-03-06 20:49:01 · 1627 阅读 · 0 评论