nlp讨论班3

词窗分析与反向传播

机器学习的重要问题:分类

            softmax归一化

最好为0,p(y|x)=-log(...)，最大化。     H(p,q)=H(p)+

正则   减少过拟合

重新训练：取决于你是否有大的训练集。

机器学习：核心y=f(x)

1.data

2.model(p(y|x)

3.准则、极大似然（调参数） 

4.优化，梯度方法（随机，批量）数值优化optimize

5.evaluation,（对不对）

一句话中不同词分类

...+正则项 表示([....]，）

神经网络前向后向传播

逻辑回归，多个线性还是线性，非线性加入拟合强度加大

The max-margin loss  J = max(0,1-s+)

forward propagation(chain rule)

反向传播（求导）