softmax是什么?
应用于多分类的问题中,将output的值映射到[0,1],且所有的output加起来等于1.其实可以理解 output(i)就是取i节点的概率,当然我们会选取概率最大的那个。
embedding是什么?
将一个对象用向量来表示出来,例如,将一个词语使用向量来表示它。
One-hot码是什么?
就是将类别的编码转为二进制类型,例如用户这个特征有A,B,C 现在将A,B,C转为特征变量,用0或1来表示其值。
Relu激活函数
x>0,f(x)=0 x<0 f(x) = x
此函数可以引入稀疏性、引入非线性。可以放大神经元筛选的作用,整个网络不仅仅是线性的,解决梯度消失,计算速度快