Pengwill's Blog

本文为笔者学习CS224N所做笔记，所包含内容不限于课程课件和讲义，还包括笔者对机器学习、神经网络的一些理解。所写内容难免有难以理解的地方，甚至可能有错误。如您在阅读中有疑惑或者建议，还望留言指正。笔者不胜感激！在本章中，将着重讨论以下内容：如何更新神经网络参数？以何种形式保存更新结构？搭建和训练神经网络的技巧.梯度和导数上一章提到，应该最小化损失函数。损失函数的参数是神经网络参数，由于梯度的方向是函数上升最快的方向，故若想最小化损失函数，应该按负梯度方向更新参数，即梯度下降。而为了求解损失

本文为笔者学习CS224N所做笔记，所包含内容不限于课程课件和讲义，还包括笔者对机器学习、神经网络的一些理解。所写内容难免有难以理解的地方，甚至可能有错误。如您在阅读中有疑惑或者建议，还望留言指正。笔者不胜感激！分类问题一般而言，训练数据由训练样本{xi,yi}i=1N\{x_i,y_i\}^{N}_{i=1}{xi​,yi​}i=1N​组成。xix_ixi​表示输入（假定每个样本的维度为ddd），yiy_iyi​表示类别（假定有CCC个类别）。线性分类器在传统的机器学习方法中，对于训练样本，训练逻

文章目录Global Vectors for Word Representation(GloVe)Comparison with Previous MethodsCo-occurrence MatrixLeast Square ObjectiveConclusionEvaluation of Word VectorsInstrinsic EvalutionExtrinsic EvaluationI...

单词的含义如何定义一个单词的意思？通过韦伯字典对于单词”meaning"的解释来看，有如下几点单词或者短语呈现的意思。人想要通过短语、符号表达的实际含义。文章、艺术作品呈现的想法。故最普通对meaning的理解，其实是表示符号（symbol）向想法（idea）的转换。如何在计算机中计算语义。可以使用，wordnet，一个包含同义词集合和词间关系的词库。但是WordNet仍有缺点...

文章目录Word2vec第三方库gensimnltk训练Word2vec语料库(corpus)预处理使用gensim训练读取Word2vecCode参考Word2vec在NLP中，想要处理文本，避不开的问题就是如何表示词。在Word2vec出现之前，词以one-hot形式的编码表示，即一个词由一个仅包含0或1的向量表示，出现的单词位置置为1，其余单词位置置为0。这样的编码方式有一些缺点，其中之...