RNN学习（一） 神经网络概述

1. 参考LectureNotes3
2. 神经网络可用于非线性分类
   
   • 如图
     
   • 神经元接受n个输入，产生一个输出
   • 神经元输出函数可以有
     
     • sigmoid
       也可以表示称
       
     • binary logistic regression
     • softmax 等等
   • 例如想知道”Museums in Paris are amazing”中Paris是否是一个命名实体。可以使用如下网络建立一个分类器。
     
     • 假设我们用一个4维词向量表示一个词，使用5个词的窗口作为输入，则输入x是一个20维向量，使用8个sigmoid函数作为隐层，产生一个输出数据，则
       
       
     • 最优化措施：maximum margin objective，确保计算出正确标签的分数比计算出错误标签的分数高。令$s$表示计算出正确标签的窗口”Museums in Paris are amazing”，$s_c$表示计算出错误标签的窗口”Not all museums in Paris”，则目标函数是最大化$(s-s_c)$或最小化$(s_c-s)$。 但由于我们只关心正确的分数比错误的分数高，因此若$s_c > s$则$error=(s_c-s)$，否则为0，即 或者更加精确
     • 梯度下降算法
3. 梯度检查
4. 正则化
5. 一些常见的神经元函数：sigmoid, tanh, soft sign, relu
6. 初始化：
   
7. 学习速率：Adagrad