![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
word2vec
sunshineTHU
这个作者很懒,什么都没留下…
展开
-
N-gram模型:参数越多,可区别性越好,但同时单个参数的实例变少从而降低了可靠性
n越大,需要计算的参数越多(指数级增长),同一词的不同词义的区别性也越好;同时,对于每一个参数,实例(出现的频度)也会变少,频度越低,越不可靠。...原创 2018-06-03 13:31:45 · 1248 阅读 · 0 评论 -
Softmax 函数
Softmax函数——用于多分类神经网络输出定义假设我们有一个数组V,Vi表示V中的第i个元素,那么这个元素的Softmax值就是 Si = eVi / ∑jeVj,也就是该元素的指数,与所有元素指数和的比值。 除了直观好理解以外,它还有更多优点。1.计算与标注样本的差距在神经网络的计算当中,我们经常需要计算按照神经网络的正向传播计算的分数S1,和按照正确标注计算的分数S2,之间的差距,计算Los...原创 2018-06-03 13:33:52 · 408 阅读 · 0 评论 -
Sigmoid 和 Softmax 区别
sigmoid将一个real value映射到(0,1)的区间,用来做二分类。而 softmax 把一个 k 维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….),其中 bi 是一个 0~1 的常数,输出神经元之和为 1.0,所以相当于概率值,然后可以根据 bi 的概率大小来进行多分类的任务。二分类问题时 sigmoid 和 softmax 是一样的,...原创 2018-06-03 13:35:00 · 8258 阅读 · 1 评论