STAT 946: Deep Learning 笔记
https://www.youtube.com/playlist?list=PLehuLRPyt1Hyi78UOkMPWCGRxGcA9NVOE
https://uwaterloo.ca/data-analytics/teaching/deep-learning-2017
fxnfk
这个作者很懒,什么都没留下…
展开
-
Lec1.1 Perceptron
Perceptron is a simple linear classifier.原创 2019-08-13 20:27:18 · 222 阅读 · 0 评论 -
Lec1.2 Backpropagation
Lec1.2 Backpropagation 上图中每个cell都是一个perceptron,组合起来就是feed-forward neural network,用backpropagation算法计算图中的权重。 chain rule 链式法则 观察神经网络中3个层,每个层中的一个节点。每个节点分为两部分aaa和zzz,aaa是summationsummationsummation,zzz是...原创 2019-08-14 14:11:23 · 217 阅读 · 0 评论 -
Lec2.1 Regularization
Lec2.1 Regularization Most machine learning tasks are estimation of a function f^(x)\hat{f}(x)f^(x) parameterized by a vector of parameters θ\thetaθ. A central problem in machine learning is how to ...原创 2019-08-08 11:30:35 · 181 阅读 · 0 评论 -
Lec2.2 Regularization
Classical Regularization: Parameter Norm Penalty 54:00 Most classical regularization approaches are based on limiting the capacity of models, by adding a parameter norm penalty Ω(θ)\Omega(\theta)Ω(θ) ...原创 2019-08-08 18:31:18 · 249 阅读 · 0 评论 -
Lec3.0 Word2vec
word2vec Word2vec是一群用来生成词向量的模型。这些模型很浅,用两层神经网络来训练构建词的语义上下文。Word2vec输入是一个大的文本语料库,输出是一个向量空间,通常有数百维,语料库中每一个词对应向量空间中的一个向量。语料库中上下文相似的词它们对应的词向量也相近。 Word2vec是由Google的Tomas Mikolov和他的团队在2013年创造的。由Word2vec产生的词向...原创 2019-08-20 19:45:17 · 239 阅读 · 0 评论 -
Lec3.1 Word2vec
Language Models A language model computes a probability for a sequence of words: P(w1,…,wT)P(w_1,\dots,w_T)P(w1,…,wT) 最简单的用向量表示词的方式是One-hot,向量的长度是字典的大小,词的位置为1,其余位置为0. term-frequency matix,行是次,列是文档...原创 2019-08-21 10:33:24 · 174 阅读 · 0 评论 -
Lec3.2 Word2vec
The CBOW architecture predicts the current word based on the context, and the Skip-gram predicts surrounding words given the current word. CBOW A very simple CBOW model negative sampling Glove原创 2019-08-22 14:25:36 · 152 阅读 · 0 评论