Cousera - Machine Learning for Neural Networks - 课程笔记 - Week 2

最新推荐文章于 2024-10-04 21:21:54 发布
最新推荐文章于 2024-10-04 21:21:54 发布
阅读量220 收藏
点赞数
分类专栏： Cousera-课程笔记 文章标签： 机器学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cary_leo/article/details/105781252
版权

Week 2

神经网络的结构 Architecture

  • 神经网络的结构：将神经元连接到一起的方式

    • 前馈神经网络（Feet Forward Neural Network）：一种常用的结构，信息从输入单元流入，沿着一个方向通过隐含层，直到输出层
    • 循环神经网络（Recurrent Neural Network）：信息在其中循环流动，能够长时间记忆信息，表现出有趣的震荡，但更难训练，因为其结构十分复杂
    • 对称连接网络（Symmetrically-connected Network）：两个神经元之间的两个方向的权重是相同的

  • 前馈神经网络：

    • 最常用

      • 第一层是输入层，最后一层是输出层
      • 中间为隐藏层，如果有多个隐藏层，就称之为“深度”神经网络
        在这里插入图片描述

    • 计算输入到输出之间的一系列变换，在每一层都能得到输入的新表示，同时改变个体之间的相似性（不同可相同，相同可不同）

      • 每一个神经元的活动，即前一层活动的非线性函数变换

  • 循环神经网络：

    • 在RNN的连接图中，存在着有向的环路
      • 有些情况下，可能回到了开始的位置
    • 其参数有着非常复杂的动态变化，使其变得十分难以训练
      • 目前有着很多高效训练RNN的方法
    • 更加契合生物学
    • 多隐藏层的RNN只是常规RNN的特例，其只是少了隐藏层单元之间的相互连接

  • 用于建模序列数据的RNN

    • 很自然的一种方式
      • 对应着以时序进行分割的深度网络
      • 但是每个时间切片使用相同的权重，并在每一个时间切片获取输入，并给出输出
    • RNN的隐藏状态具有长时间记忆信息的能力
      • 但是训练这种能力很困难

  • 对称连接网络

    • 神经元间的连接是对称的（双向的权重是相同的）
      • 比循环神经网络更好分析
      • 遵守一个能量函数对其能力增加了限制
        • 没有回路
    • 没有隐藏层的对称连接网络称为“霍普菲尔德网络”（Hopfield Nets）

  • 具有隐藏层的对称连接网络

    • 称为“玻尔兹曼机”（Boltzmann machines）
      • 相比于霍普菲尔德网络更强大
      • 略逊于RNN
      • 有比较简单的学习算法

感知器：初代神经网络 Perceptrons: The first generation of neural networks

  • 统计模式识别：
    • 将原始输入向量转化为一个特征激活向量（使用基于共识的手写程序定义特征。不进行学习）
    • 学习如何对每一个特征激活值加权以得到一个标量值（在模式的假设中对哪些特征更加明显和赞同，哪些是反对）
    • 如果这个标量值超过了某个阈值，那么认为这个输入是一个目标类别（尝试学习的模式）的正例
  • 感知器是传统统计模式识别系统的典型例子
  • 决策单元：二元阈值神经元（Binary Threshold Neuron）
    • 先计算所有输入的加权和并加入偏置量
    • 如果最终结果大于0，则输出1
  • 使用相同的权重学习方法学习偏差：
    • 为了学习偏差，可以把它当作1的权重
    • 阈值等价于有一个负的偏差
  • 感知器收敛过程：训练二元输出神经元作为分类器
    • 对输入向量，额外加入一个值为1的元素，偏差及阈值的负值，现在可以忽略阈值了
    • 使用任何能够确保每一个训练样例都能被取到的方法取训练样例
      • 如果对应的输出正确，那么保留权重不动
      • 如果错误地输出了0（要么1要么0），就把这个输入向量加到权重上
      • 如果错误地输出了1，就把这个向量从权重里减掉
    • 这保证了能够找到一组权重（如果真的存在的话）是所有训练样例得到正确答案
    • 但是很多问题不存在这样一组权重，因为这很大程度上取决于选择的特征

感知器的几何意义 A Geometrical Vew of Perceptrons

  • 权重空间：一个高维空间，每一个点对应了一组权重值配置
  • 将整组权重视为一个平面，学习就是在所有训练平面的正确的一侧的权重向量
  • 权重空间：
    • 每一维对应一个权重
    • 空间中的一个点代表了一组特定的权重
    • 不考虑阈值，那么每一个训练样例就代表了一个过原点的超平面
    • 权值必须在这个超平面的一侧以得到正确的答案
  • 分析：
    • 每一个训练样例定义了一个过原点的平面
    • 平面与输入向量正交（perpendicular）（即以输入向量为法向量的平面）
    • 我们需要权重向量在平面的正确一边，即与输入向量的内积为正确的符号
    • 我们可以认为输入是对权重（点）的约束（得到正确答案）
    • 要让所有的训练样例得到正确答案，那么就需要找到一个点，在所有平面的正确的一边
    • 如果有任何正确答案，那么这些权重向量就一定在所有平面构成的超锥体中，其顶点在原点
    • 那么所有的响亮的均值就会是一个好的权重向量（凸问题）

感知器的限制 Limitations

  • 感知器的效果很大程度上依赖于特征的选择
  • 学习的最大难度在于学习正确的特征
  • 感知器的限制：
    • 如果手工选择特征且选择了一组很好的特征，那么这个模型可以做任何事情
    • 但是一旦确定了权重，整个感知器的学习会有很大限制
  • 对于稍微复杂一点的非线性逻辑（对三维空间，只需要四个不共线点），二元阈值就完全不能起作用了
  • 使用数据空间分析上述问题：
    • 输入向量是一个点
    • 权重是一个平面，与原点的距离即阈值，其与权重向量正交
    • 有一种可能，即使这个超平面永远都不可能正好的将正例点和反例点分隔开（不可线性分割的）
  • 二元阈值神经元不能够解决不能够辨析可平移的特征
  • 我们不仅要学习用于计算特征加权和的权重，还要学习特征检测器本身，才能让神经网络变得有效
    • 没有隐藏层的网络学习到的输入输出映射十分有限（多层线性没有任何意义，结果还是线性的，而只在输出采用非线性变换也没有意义）
    • 我们需要多层自适应（学习权重）非线性（增加映射能力）的单元，但是如何学习？（自适应所有的权重而不仅仅是最后一层非常困难，而多层隐藏层实际上就相当于要学习特征以及特征的特征）
支锦铭
关注
专栏目录
An Overview of Multi-Task Learning in Deep Neural Networks.pdf
02-23
Multi-task learning (MTL) has led to successes in many applications of machine learning, from natural language processing and speech recognition to computer vision and drug discovery. This article ...
机器学习中的神经网络Neural Networks for Machine Learning：Lecture 12 Quiz
GarfieldEr007的专栏
02-18 1720
Lecture 12 QuizHelp Center Warning: The hard deadline has passed. You can attempt it, but you will not get credit for it. You are welcome to try it as a learning exercise. In accordance
Udemy - Deep Learning Convolutional Neural Networks in Python
10-29
This course is all about how to use deep learning for computer vision using convolutional neural networks. These are the state of the art when it comes to image classification and they beat vanilla ...
Bayesian Learning for Neural Networks-Springer-Verlag New York
03-23
根据提供的文件信息，以下是关于“Bayesian Learning for Neural Networks”一书的知识点总结： 1. 书名与内容概述 《Bayesian Learning for Neural Networks》是一本由Radford M. Neal撰写，主要探讨基于贝叶斯...
Udemy - Deep Learning Recurrent Neural Networks in Python
10-29
The most common technique for this is called Word2Vec, but I’ll show you how recurrent neural networks can also be used for creating word vectors. In the section after, we’ll look at the very ...
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
02-08
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
机器学习框架总结
weixin_42462436的博客
10-04 627
机器学习框架是用于构建、训练、评估和部署机器学习模型的工具和库的集合。它们简化了模型开发过程，并提供了预构建的功能、优化的计算性能和对深度学习、监督学习、无监督学习等技术的支持。下面是一些主要的机器学习框架的详细介绍：
【机器学习-无监督学习】降维与主成分分析
Morse_Chen的博客
10-01 1997
本文介绍了数据降维的常用算法之一：PCA算法。数据降维是无监督学习的重要问题，在机器学习中有广泛的应用。利用特征分解进行PCA，动手实现了PCA算法，并使用sklearn实现PCA算法。
机器学习Python实战-第三章-分类问题-1.K近邻算法
Hdejac的博客
09-28 691
详细解析K近邻算法，提供源码以及对应效果图。
Rasa：开源的机器学习框架
Indra_ran的博客
09-27 1195
一、Rasa简介 Rasa是一套用来构建基于上下文的AI小助手和聊天机器人框架。 分为两个主要的模块： NLU：自然语言理解模块，实现意图识别以及槽值的提取，将用户的输入转化为结构性数据，在训练过程中，为了提高从用户信息的实体识别能力，采用了预先训练的实体提取器Pre-trained Entity Extractors，正则表达式Regexes，同义词Synonyms等 Rasa Core：对话管理模块，也是一个平台，用来预测决定下一步做什么，其中对话数据包括了stories以及rules 其中设计对
GAN生成对抗网络介绍
m0_58941767的博客
10-04 331
生成对抗网络（Generative Adversarial Networks，简称GANs）是由Ian Goodfellow等人在2014年提出的一种深度学习模型。它由两部分组成：生成器（Generator）和判别器（Discriminator），两者在训练过程中相互竞争，从而提高生成数据的质量和判别数据真伪的能力。一、GAN是什么？Generative Adversarial Networks ,生成对抗网络是一种深度学习模型。
特征工程——一门提高机器学习性能的艺术
清图出版
09-30 601
你将学会清洗和转换数据，减轻偏见。通过“特征工程”技术，可优化训练数据，提升机器学习流程的输出效果！“特征工程”基于现有数据设计相关的输入变量，由此简化训练过程，增强模型性能。许多知名的 AI专家正在敦促数据科学家更关注以数据为中心的机器学习视角，而不是过于关注模型选择和超参数调整过程。当前围绕人工智能(AI)和机器学习(ML)展开的许多讨论以模型为中心，聚焦于 ML和深度学习(DL)的最新进展。类似MLOps的领域正迅速发展，通过系统性地训练和利用ML模型，尽量减少人为干预，以“释放”工程师的时间。
机器学习-树模型算法
最新发布
weixin_47102187的博客
10-04 167
仅个人笔记使用，感谢点赞关注，希望可以帮到你！
【AI知识点】负对数似然损失函数（Negative Log-Likelihood Loss，NLL）
虾米记的博客
10-01 906
介绍：负对数似然损失函数（Negative Log-Likelihood Loss，NLL）
解决方案：机器学习中，回归及分类常用的模型评估指标有哪些
weixin_42504788的博客
10-01 481
解决方案：机器学习中，回归及分类常用的模型评估指标有哪些
深入探索 PyTorch 在机器学习中的应用
weixin_42132035的博客
09-27 890
PyTorch是由Facebook开发的开源深度学习框架，因其动态图计算特性和友好的API而受到研究人员和开发者的广泛欢迎。相较于其他框架，PyTorch更易于调试和实现复杂模型，使得其在学术研究和工业应用中都得到了广泛的应用。接下来，我们定义一个简单的CNN模型：pythonreturn x接下来，我们定义一个LSTM模型：python。
机器学习概述
西木风落
10-01 655
随着科技的不断更新发展，人工智能与社会生活的关系也越来越紧密。那么，人工智能和机器学习有什么关系，什么是机器学习，机器学习的模型算法有哪些，如何进行机器学习？本系列文章将从上述几个问题展开。
机器学习和深度学习的区别
dhdjjfhdghh的博客
09-26 1448
深度学习是机器学习的一个子集，它基于人工神经网络的概念，特别是那些具有多个非线性变换的层（即深度）。深度学习模型能够自动从原始数据中提取复杂的特征，而无需人为干预。层次结构：深度学习模型由多个层次的神经元组成，每一层都对输入数据进行转换和抽象，从而捕捉数据的复杂特征。自动特征提取：与传统机器学习方法相比，深度学习能够自动从原始数据中学习特征，减少了对人工特征工程的依赖。计算密集型：深度学习模型通常需要大量的计算资源，包括高性能的GPU，以训练大规模的数据集和复杂的模型结构。代表性模型。
0基础跟德姆（dom）一起学AI 机器学习01-机器学习概述
chrisfanallin的博客
09-28 1214
AI全流程带你玩 0基础带你学人工智能相关软件，讲解机器学习、深度学习、大模型等人工智能领域核心知识。 帮助想了解，或者正在AI赛道成长的你。
meta-learning in neural networks: a survey
04-06
b'meta-learning in neural networks: a survey'是一篇研究元学习在神经网络中应用的调查文章。元学习是指学习如何学习的能力，它可以帮助模型快速适应新任务和环境。文章介绍了当前元学习在神经网络中的研究进展和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值