My solution to cs224n assignment1(3-4)

My solution

3.word2vec

(a)(b)(c)skip-gram的求导和负采样

　　词向量模型有CBOW和skip-gram模型，注意这两个模型词向量做中间词和环境词往往不一样(虽然这样从理论上似乎并没有加强表达能力，但是实际操作来看又很有道理)，这两个模型都有朴素神经网络形式。也都有两个优化，Hierarchy softmax(用logN个Huffman树上的二分类代替词向量的N分类降低时间复杂度)和负采样算法(除了增加正确答案的概率，还要降低错误答案的概率)。
　　相对CBOW来说，skip-gram似乎更加合理一点，因为从损失函数形式上来看，CBOW相当于$F((\Sigma u^T)v)$，而skip-gram相当于$\Sigma F(u^Tv)$，但是两者都破坏了位置信息，所以实际具体任务中的词向量最好是pretrain，tuned的而不是pretrain，fixed的。
　　
　　几乎主要的流程习题都已经涉及到了，仅仅以skip-gram为例，推导一下word2vec的重要结论:
　　
　　(a)(b)skip-gram的导数
　　
　　
　　(c)负采样的导数
　　负采样与前面不同的是，因为没有合理的归一化指标，所以只能保证指数函数的情况下，用(二分类概率)sigmoid代替sotfmax作为概率指标。
　　另外，实际操作中负采样样本为了平滑处理，并不是严格按词频采样负样本，而是按照词频的0.75次方使得低频词也有出场机会，是一个平滑策略。
　　
　　

(d)CBOW模型

　　解答略，因为手法和skip-gram一模一样。

(e)(f)(g)(h)skip-gram的代码实现

　　我自己没写代码，觉得学它的框架意思不大，所以直接给别人的可视化结果。
　　
　　
　　所以说，看图可以知道。word2vec不是万能的，只能作为一个好的预训练出来的初始值。

4.Sentiment Analysis

　　本节用的是SST数据集，但是没有用到数据集树结构的信息。
　　本节给了一个简单的模型，句子词向量之和到句子情感标签建立一个神经网络，正确率也还可以，算得上一个优秀的baseline。
　　由于我觉得学习它的框架没有意思，所以我只读了代码，没有自己实现。
　　以下是的大致的正则化系数与正确率曲线，算得上可视化调参过程。