Coursera Deep learning 复习

1.Structuring Machine Learning Projects

1. 出现新的数据
首先判断目标是不是提升在新数据上的表现。
如果是数据量大，且不是目标，可行的方法之一是只放入训练集
如果数据量小且是目标之一，可以放入dev/test set,再设置新的评估指标

得到大的新样本(与原来的样本分布不同)，除了按train/dev/test set进行分割，还可以全部用于trainning，这样可以提高鲁棒性

大的新样本(与原来的样本分布不同)直接放入test set会使dev/test分布不同，相当于设置了错误的目标。本题中目标是增强对安保监控画面里的鸟的识别能力（即应该在原来的test集中表现良好）。
对于4所说的问题，

The cat image example is different because, given an input picture x, one can reliably predict the label y indicating whether there is a cat, even without knowing if the image is an internet image or a mobile app image. I.e., there is a function f(x) that reliably maps from the input x to the target output y, even without knowing the origin of x. Thus, the task of recognition from internet images is “consistent” with the task of recognition from mobile app images. This means there was little downside (other than computational cost) to including all the data, and some possible significant upside. In contrast, New York City and Detroit, Michigan data are not consistent. Given the same x (size of house), the price is very different depending on where the house is.

样本小且目标是提高在新任务上的表现，可以放入入dev/test set并设置评估指标来快速提升效果。
参考资料：Covariate Shift—从一道实际应用题说起
2.误差分析：

human->trainning: bias
trainnig->trainnig-dev: variance
trainnig-dev->dev: data dismatch
dev->test: degree of overfitting to the develpment
3.改进模型
在确定模型存在的问题后可以得到不同问题对最终表现的影响，但是考虑改进的顺序时还应该考虑权衡改进不同问题的难度。

2. CNN

3. Sequence Model:

作业脉络： 单步模型->前向传播->单次传播和梯度下降->完整模型

1. Week 1:
   1. Assignment 1: RNN和LSTM模型的 foward propagation （tensorflow）
   2. Assignment 2: Clip, Sample和完整LSTM 模型（tensorflow）
   3. Assignment 2: Single LSTM step和预测模型 (Keras)
2. Week 2:
   1. Assignment 1: 相似度和中性化
   2. Assignment 2: 简单的情感分类模型和使用LSTM layer的情感分类器（keras）
3. Week3：
   1. Assignment 1: 注意力模型（keras）
   2. Assignment 2: 生成声音检测数据集和Bio-LSTM触发词模型（keras）

deep learning 笔记补充

笔记：循环序列模型: from github bighuang624

1. CNN: X,w 是行向量,Y 是列向量
2. RNN——GRU：补充GRU的图解
3. RNN——Deep RNN: 如图，在n层之后，不保留水平方向上的连接
   
4. Word2Vec：Skip-Gram and Negative Sampling
   理解 Word2Vec 之 Skip-Gram 模型
5. Skip-gram
   1. To represent the input such as the word orange, you can start out with some one hot vector for the context words (Oc).
   2. And then multiply the embedding matrix E by Oc. This gives you your embedding vector (EC) for the input context word.
   3. Finally feed this vector EC to a softmax unit and get y ̂.