CS224n-05 Backpropagation and Project Advice

05 Backpropagation and Project Advice

今天综述

1、从单到多层的神经网络。

2、反向传播（推导）。

3、反向传播的不同观点。

4、工程技巧。

为什么要进行这么多的积分运算？

1、为了后面的深度学习

2、反向传播有什么缺点？比如：在优化上会出现梯度消失

3、有效的调试模型，知道完成一个新模型

解释1：反向传播

解释2：单向传播（电路）

These examples are from CS231n：http://cs231n.github.io/optimization-2/

解释3：反向传播（The high-level flowgraph）

解释4：反向传播（The delta error signals in real neural nets）

有效的文本分类方法（Bag of Tricks for Efficient Text Classification）

Facebook的fastText 

• fastText常常可以跟深度神经网络分类器打平。

• 但训练速度只需几秒，而不是几天。

• 还可以学习多种语言的词向量（效果比word2vec还要好）。

课程项目

1、使用目前的神经网络在新任务中

2、实现一个复杂的神经网络框架

3、想出一个新的神经网络模型

4、使用深度学习模型进行再优化。

课程项目的指导与建议（hankcs.com）：

1、不要想着一上来就发明个新模型搞个大新闻
2、也不要浪费大部分时间在爬虫上面，本末倒置
3、把旧模型用于新领域\新数据也是不错的项目
4、先要按部就班地熟悉数据、熟悉评测标准、实现基线方法
5、再根据基线方法的不足之处思考深度学习如何能带来改进
6、再实现一个已有的较为前沿的模型
7、观察该模型犯的错误，思考如何改进
8、这时才能没准就福至心灵发明一个新方法

课程想法：

1、概括总结

2、命名实体识别（NER, like PSet 2 but with larger data）

Natural Language Processing (almost) from Scratch, Ronan Collobert, Jason Weston, Leon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa, http://arxiv.org/abs/1103.03983、QA（Simple question answering）

A Neural Network for Factoid Question Answering over Paragraphs, Mohit Iyyer, Jordan Boyd-Graber, Leonardo Claudino, Richard Socher and Hal Daumé III (EMNLP 2014)

4、图想到文本的映射或者生成

Grounded Compositional Semantics for Finding and Describing Images with Sentences, Richard Socher, Andrej Karpathy, Quoc V. Le, Christopher D. Manning, Andrew Y. Ng. (TACL 2014)
or
Deep Visual-Semantic Alignments for Generating Image Descriptions, Andrej Karpathy, Li Fei-Fei

5、实体层面情感分析

6、用DL解决一个NLP问题

Develop a scoring algorithm for student-written short-answer responses, https://www.kaggle.com/c/asap-sas

Another example project: Sentiment

1、电影评论情感分析：http://nlp.stanford.edu/sentiment/

2、尝试大量的DL基线方法。

下一步：

1、一些有趣的基本的语言学句法分析。

2、TensorFlow学习。

参考：

http://web.stanford.edu/class/cs224n/

http://www.hankcs.com/nlp/word-vector-representations-word2vec.html

https://zhuanlan.zhihu.com/p/26530524