线性回归
softmax与分类模型
神经网络中,输出为多分类时,使用softmax,使用softmax后只是将值规范在0-1之间,并不会影响值之间的大小关系。
多层感知机
多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构。多层感知机层与层之间是全连接的。多层感知机最底层是输入层,中间是隐藏层,最后是输出层。
隐藏层的神经元怎么得来?首先它与输入层是全连接的,假设输入层用向量X表示,则隐藏层的输出就是 f (W1X+b1),W1是权重(也叫连接系数),b1是偏置,函数f 可以是常用的sigmoid函数或者tanh函数:
文本预处理
正则表达式中: [a-z]+ 表示由a-z中的字母组成的长度大于等于1的字符串。
分词,建立字典