Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 4

于 2020-04-27 00:28:58 发布
阅读量188 收藏
点赞数
分类专栏： Cousera-课程笔记 文章标签： 人工智能 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cary_leo/article/details/105781284
版权

Week 4

预测下一个单词 Learning to predict the next word

  • 使用反向传播算法学习单词含义的特征映射
  • 关系学习任务：给定一个很大的来自很多家谱的三元组集合，尝试找出关系
    • 比较直接的表达方式是使用符号表示规则
    • 但是寻找一个符号法则意味着在一个非常大的离散空间内进行非常困难的查找
    • 使用网络学习？

简要介绍认知科学 A brief diversion into cognitive science

  • 一个关于”概念“的争论
    • 特征学理论：概念是一组语义特征
      • 便于比较概念之间的相似性
      • 便于用于机器学习：一个概念就是一个特征值的向量
    • 结构学理论：概念存在于其与其他概念之间的关系中
      • 概念被表示于一张关系图中
      • Minksy使用感知器的限制作为证明反对特征向量并支持关系图表示
  • 实际上哪一个都不对：神经网络可以使用语义特征向量实现一个关系图

软最大值输出 The softmax output function

  • 一种强制让神经网络的所有输出加和为1，使其代表一种概率分布
  • 平方误差存在不足
    • 当目标为1而输出是一个极小的非零值，那么将不会产生一个梯度以至于无法修复错误？？？
    • 对于互斥类别，相关的互斥只是应当输入到网络中
  • 应对逻辑单元的互斥类别损失函数：交叉熵，令 E = − t log ⁡ ( y ) − ( 1 − t ) log ⁡ ( 1 − y ) E=-t \log(y)-(1-t) \log (1-y) E=−tlog(y)−(1−t)log(1−y)，那么KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲E}{\part z}=y-t
  • softmax，软最大值，接受logit z i z_i zi​，输出 y i y_i yi​，输出由所有的输入决定，即 y i = e z i ∑ j ∈ g r o u p e z j y_i=\frac{e^{z_i}}{\sum\limits_{j \in group}e^{z_j}} yi​=j∈group∑​ezj​ezi​​，同时有KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲y_i}{\part z_i}…
  • 对应于softmax的损失函数：正确答案的负对数概率，即 C = − ∑ j t j log ⁡ y j C=-\sum\limits_{j}t_j \log y_j C=−j∑​tj​logyj​
    • 能够在输出和目标相差极大时有一个非常大的梯度
    • KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲C}{\part z_i}=\…
  • 二路softmax相当于逻辑回归
  • 但是多路softmax与逻辑回归以及线性回归均不等价（前者永远负责是和否，后者无法体现非线性）

神经概率语言模型 Neuro-probabilistic language models

  • 语音识别的基本问题：
    • 无法在嘈杂的内容中完美地识别语素
    • 使用人们对话语意义的理解听出正确的单词
    • 这意味着识别器需要知道下一刻可能产生的单词
  • 标准三元字组方法
    • 接受大量语料，并计算所有三元字组的频率
    • 使用这些频率预测在给出前两个词的情况下，第三个词的相对概率： p ( w 3 = c ∣ w 2 = b , w 1 = a ) p ( w 3 = d ∣ w 2 = b , w 1 = a ) = c o u n t ( a b c ) c o u n t ( a b d ) \frac{p(w_3=c|w_2=b,w_1=a)}{p(w_3=d|w_2=b,w_1=a)}=\frac{count(abc)}{count(abd)} p(w3​=d∣w2​=b,w1​=a)p(w3​=c∣w2​=b,w1​=a)​=count(abd)count(abc)​
  • 三元字组未能使用的信息
    • 无法理解单词之间的对应关系
    • 为了克服这种限制，使用前几个词的语义和句法特征预测下一个词的特征（使用一个包含上下文的特征表示）

处理大量可能输入的方式 Ways to deal with the large number of possible outputs

  • 序列架构：一次处理一个，得到一个logit分数，然后所有的分数一起softmax

  • 将结果概率和目标概率进行比较得到交叉熵概率梯度

  • 我们可以使用一个其他预测器展示出的候选项的子集来节省时间

  • 使用树来预测

    • 预测机制为一棵二叉树，树的叶子节点为单词
    • 将上下文单词的特征向量加和得到预测向量
    • 预测向量与各个节点的学到的特征向量点击得到的标量送入逻辑函数，根据结果选择分支
    • 最终到达的单词即为预测结果

  • 一个方便

    • 最大化选择这却目标词的对数概率等价于最大化正确目标词路径上的所有分支的对数概率和
      • 对数级别的优化
    • 测试的时候还是很慢

  • 学习单词的特征表示 Collobert and Weston model

    • 使用一个窗口，在窗口中的一个词，分别使用真实词或者随机词，训练网络在正确词时输出高位，随机词时输出低位（二分类？？？）

  • t-sne，一种将多维向量映射到二维图像上的方法

    • 在映射词特征向量表示时，不仅聚类了单词，还能表示不同聚簇之间的相似程度
支锦铭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Coursera机器学习 第五周Neural Networks: Learning 测验题目和答案
sigmeta的博客
08-24 3705
1 point 1。 You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In the backpropagation algorithm, one of the steps
Machine Learning - Coursera 吴恩达机器学习教程 Week4 学习笔记
zhang35的博客
02-04 1239
背景 当目标函数非线性时（比如下图明显需要一条曲线），就需要增加高次项来获得曲线，当特征数量比较多时，增加高次项会使特征数量爆炸式增长。 比如图像识别问题，对50 * 50像素的图像，如果将每个像素作为特征，增加二次特征就会产生约3 * 10 ^ 6个特征（C22500 = 2500 * 2499 / 2） 这种情况下，若要使用普通逻辑回归学习所有特征，计算量就过大了。 此时用神经网络学习这种复杂的非线性假设函数，就比较合适了。 神经网络 首先学习几个术语： dendrite: 树突（输入） cell
Coursera Machine Learning 第五周 quiz Neural Networks: Learning
OovEver的专栏
11-11 8264
1.  You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In the backpropagation algorithm, one of the steps is to
Week5_1Neural Networks Learning
wangcong02345的专栏
02-25 3540
Week5_1Neural Networks Learning Week5_1Neural Networks Learning 第 1 题 第 2 题 第 3 题 第 4 题 第 5 题 第 1 题 You are training a three layer neural network and would like to use backpropagation t...
Machine Learning week 5 quiz: Neural Networks: Learning
GarfieldEr007的专栏
11-24 1万+
Neural Networks: Learning 5 试题 1.  You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In
Coursera Machine Learning 第四周 quiz Neural Networks: Representation
OovEver的专栏
11-11 9858
Which of the following statements are true? Check all that apply. 答案CD Suppose you have a multi-class classification problem with three classes, trained with a 3 layer netw
Machine-Learning
05-02
Week 4 编程作业：Multi-class Classification and Neural Networks（多层次分类和神经网络） 相关博客地址： 关于 f_zyj 一名退役 ACMer，退役后在努力向机器学习方向靠拢……机器学习还没有入门的小学生，也是一个...
Andrew Ng Machine Learning 专题【Neural Networks】下
IronYoung_不惧未来
09-13 3184
此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。 课程网址：https://www.coursera.org/learn/machine-learning/home/welcomeWeek 1: Introduction 笔记：http://bl
第一课:Neural Networks and Deep Learning 第二周：编程作业 Logistic Regression with a Neural Network mindset
肖泽的博客
03-19 1368
第一课:Neural Networks and Deep Learning 第二周：编程作业 Logistic Regression with a Neural Network mindset Logistic Regression with a Neural Network mindset Welcome to your first (required) programming assignme...
吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（5-3）-- 序列模型和注意力机制
大树先生的博客
04-04 5988
序列模型 --- 序列模型和注意力机制
数据挖掘错题集
热门推荐
ChallenChenZhiPeng的专栏
09-02 3万+
1.    Some of the problems below are best addressed using a supervised learning algorithm, and the others with an unsupervised learning algorithm. Which of the following would you apply supervised lea
Machine Learning week5 错题记录
Mori先生丶的博客
03-03 1388
1。第 1 个问题You are training a three layer neural network and would like to use backpropagation to compute the gradient of the cost function. In the backpropagation algorithm, one of the steps is to upda...
The source file is different from when the module was built. Would you like the debugger to use it anyway?
baozi3026的专栏
07-27 1227
The source file is different from when the module was built. Would you like the debugger to use it anyway?
Machine Learning week 5 programming exercise Neural Network Learning
心中永远的正能量
06-07 2万+
Neural Networks Learning Visualizing the data 这次试用的数据和上次是一样的数据。5000个training example，每一个代表一个数字的图像，图像是20x20的灰度图，400个像素的每个位置的灰度值组成了一个training example。 Model representation 这里我们使用如下的模型，
Coursera Machine Learning 第一周 引言(Introduction) quiz 习题答案
OovEver的专栏
11-08 1万+
1. A computer program is said to learn from experience E with respect to some task T and some performance measure P if its performance on T, as measured by P, improves with experi
Coursera Machine Learning 第五周编程week5 ex4Neural Networks Learning编程全套满分题目+注释
sinat_39805237的博客
12-10 1373
资源链接：http://download.csdn.net/download/sinat_39805237/10152688 正常设置迭代次数和lambda的结果 当保证lambda不变，改变迭代次数为150次（在ex4.m中Part8中修改），准确率达到99% 当保证迭代次数为50不变时，改变lambda=0.01，准确率可到96%，由于初始化的随机性可能略有偏
week one(3)—Gradient descent
weixin_30859423的博客
01-05 64
Gradient descent 梯度下降算法 一introduce 二intuition 三 Gradient descent for linear Regression 线性回归模型 转载于:https://www.cnblogs.com/doctorW/p/8204629.html...
coursera Machine Learning 第五周 测验quiz答案解析 Neural Networks: Learning
sinat_39805237的博客
12-07 4922
1.选择A 解析：根据公式可排除BCD，博主之前做的一题是有选项a(2)T*delta(3)，这时候看delta=a(L)-y，行向量是样本数，应该不会把样本数消化掉，所以delta在前面。 2.选择A 解析：3*5=15，所以Theta2从16开始，加上24，后面是还原Theta2的形式4*6矩阵 3.选择A 解析：将J的函数带进梯度检测函数，theta和epxlo
Coursera-吴恩达-机器学习-（编程练习4）Neural Networks Learning（对应第5周课程）
malele4th
01-15 3790
此系列为 Coursera 网站Andrew Ng机器学习课程个人学习笔记（仅供参考） 课程网址：https://www.coursera.org/learn/machine-learning exercise 4 —— Neural Networks Learning 在此下载Coursera-吴恩达-机器学习-全部编程练习答案 不在这里一一列举了，自己动手去练习。
meta-learning in neural networks: a survey
最新发布
04-06
b'meta-learning in neural networks: a survey'是一篇研究元学习在神经网络中应用的调查文章。元学习是指学习如何学习的能力，它可以帮助模型快速适应新任务和环境。文章介绍了当前元学习在神经网络中的研究进展和应用领域，并提出了未来可能的研究方向。这篇文章对元学习在神经网络和深度学习领域有很大的启发和参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值