scxyz的博客

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html当把所有word 转化成vector后，需要将这些vector进行整合，传统整合方法一般使用average, sum等，接下来介绍使用Recursive Neural Network（RvNN）递归神经网络进行处理。

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html在之前 lecture2-2 Word Representation 的课程中简单讲解了 Word 处理的传统方法。通过传统方法的局限性引入新的方法 Word Embeddings，从而直接学习得到低维结果，而...

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.htmlGenerationRNN的应用方法sentences是由characters/word 组成；使用RNN的方法每次生成一个characters/word X 是之前产生的一个word，用one-hot-encodi

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html函数“ff”的作用 “Meaning”的含义？ 怎样表示文字上的语义？ 本节课主要讲了两种方法，分别如下：Knowledge-based representation这个是传统方法，语言学家们制定了一套 WordNe

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html上节课程 lecture1-2 Neural Network Basics 讲了神经网络的结构以及正向传播的方法公式，最后也快速讲了一下使用梯度下降的方法进行优化，并且比较了GD、SGD、Mini-Batch三种方法。本节

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html本节课主要讲了三个问题： 1. What is the model? (function hypothesis set) 2. What does a “good” function mean? 3. How d

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html机器学习介绍引入机器学习理论方法Programs can do the things you ask them to doSome tasks are complex, and we don’t know how to

Recurrent Neural Network （RNN）循环神经网络常被用到的领域是Language Modeling，下面就从Language Modeling方法的发展，引入RNN。Language Modeling多个word组成一句话，根据一句话出现的概率可以得到更符合语法结构和有意义的句子。 比如根据给出的一段语音，可以得到两种完全不同的句子“recognize speech”、“w

以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.htmlReview首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。RNN假设现在有3个sequence表示为 x1x^1、x2x^2、x3x^3，设定的初始化向量 h0h_