李宏毅2020ML——P59-62更多关于auto-encoder

于 2021-03-23 14:24:03 发布
阅读量147 收藏
点赞数 1
分类专栏： 李宏毅2020ML 文章标签： 机器学习 深度学习 无监督学习 自编码器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115121590
版权
本文探讨了如何超越最小化重构误差，通过使用判别器来优化嵌入表示。在序列数据中，这种方法能提升可解释性。目标是生成更易理解的嵌入特征，同时实现输入信息的解纠缠。例如，在语音处理中，这种技术可用于变声器的开发。VQ-VAE作为一种方法，用于创建更直观且易于聚类的离散和结构化嵌入，并在序列数据上应用。整体目标是提高模型的可读性和特征的解析能力。
摘要由CSDN通过智能技术生成

more for auto-encoder

more than minimizing reconstruction error

在这里插入图片描述
What is good embedding?
在这里插入图片描述

Using Discriminator

利用判别器来判断这个embedding和这个object是不是一对

好的结果应该是这样：
在这里插入图片描述
不好的结果应该是这样：
在这里插入图片描述
得到新的损失函数：
在这里插入图片描述
和之前对比：
在这里插入图片描述

Sequential Data

对于有循序的资料，会有更多的做法
在这里插入图片描述

More interpretable embedding

希望更加容易被解释
在这里插入图片描述

feature Disentangle

通常input包含了很多信息，但是我们无法知道哪些维代表什么消息
在这里插入图片描述
比如说语言
在这里插入图片描述
那我们分解开来会有什么用呢？做变声器
在这里插入图片描述
如何去训练呢？
在这里插入图片描述
另外一种方法：
在这里插入图片描述
加入IN和ADIN
在这里插入图片描述

discrete and structured

embedding更加直观和容易聚类
在这里插入图片描述
VQVAE做法：
在这里插入图片描述
在seq上的应用
在这里插入图片描述
让embedding更加可读
在这里插入图片描述

小葵向前冲
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【李宏毅2020 ML/DL】P62-65 More about Auto-encoder
记录学习痕迹的公众号：Piper蛋窝
08-05 681
很有趣的一节课，介绍了 对抗训练 的自编码方法；此外还有特征分解（应用于音色转换）、序列的嵌入等。
Auto-encoder （李宏毅2022
linyuxi_loretta的博客
11-01 345
那其实还有更多疯狂的想法，Representation 甚至不一定要是向量，举例来说，它也可以是一段文字。假设我们现在要做文字的 Auto-Encoder，概念和语音、影像的没有什么不同，但我们现在可以不用向量来当做 Embedding， 可以是一串文字。如果把 Embedding 变成一串文字有什么好处呢？
李宏毅学习笔记28.More About Auto-Encoder
老毛的博客
04-26 687
文章目录简介Beyond ReconstructionHow to evaluate an encoder? 简介 本节是新加的内容，AUTO-ENCODER有很多内容在本节中补充。 公式输入请参考：在线Latex公式 AUTO-ENCODER模型构架如上图所示，中间的vector也被称为： Embedding,Latent Representation,Latent Code 那么本节要从两个...
2020李宏毅学习笔记——47.More about Auto-Encoder(1_4)
weixin_44554337的博客
07-11 386
还是Auto-Encoder，已经很熟悉那个模型类吧 Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构，它主要包含一个编码器（Encoder）和一个解码器（Decoder），通常它们使用的都是神经网络。Encoder接收一张图像（或是其他类型的数据，这里以图像为例）输出一个vector，它也可称为Embedding、Latent Representation或La
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
01-17
《李宏毅教授2022春季机器学习课程——作业1样本代码与训练数据解析》 在信息技术领域，机器学习（Machine Learning, ML）作为一门关键的子领域，一直在推动着人工智能的发展。2022年春季，台湾大学的李宏毅教授...
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
《李宏毅2020年机器学习作业2——分类数据集详解》 在这个数据集中，我们关注的是李宏毅教授在2020年开设的机器学习课程中的第二个作业，主题是“分类”。分类是机器学习领域的一个基础任务，其目标是根据输入特征...
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
在这个“李宏毅2020 ML Homework 1: Linear Regression-数据集”中，我们关注的是一个回归问题，特别是针对PM2.5（细颗粒物）浓度的预测。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著...
:white_medium_star: 李宏毅2020机器学习作业4-RNN：句子情感分类
01-20
文章目录0 作业链接1 作业说明环境任务说明任务要求数据说明作业概述2 基本原理与概念...直接在李宏毅课程主页可以找到作业： 李宏毅的课程网页：点击此处跳转 如果你打不开colab，下方是搬运的jupyter notebook文件
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
李宏毅2020ML——P24-31可解释性ML
weixin_44177594的博客
03-17 422
Explainable machine learningintroduceLocal Explainable基本的思想：global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数 introduce 在分类问题中，我们输入一张猫的图片，machine会告诉我们这是”猫“，但是为什么？ 问题1：为什么machine会认为这个是猫呢？ 问题2：machine眼中的猫是什么样子的呢？ 或者是m
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 384
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
李宏毅2020ML——P17 CNN（Convolutional Neural network）
weixin_44177594的博客
03-12 345
Convolutional Neural network引入CNN V.S. DNNWhy can we discard some parametersreason1：Some patterns are much smaller than the whole imagereason2：The same patterns appear in different regions.reason3：Subsampling the pixels will not change the objectThe whole
李宏毅2020ML——P8-P9 Optimization for Learning（最优化方法）
weixin_44177594的博客
03-10 336
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结 SGD 缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 SGD容易收敛到局部最优，并且在某些情况
李宏毅2020ML——tips for training DNN深度学习技巧
weixin_44177594的博客
03-15 247
tips for training DNN本节综述：Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo
李宏毅2020ML——P21-P22 RNN 循环神经网络
weixin_44177594的博客
03-16 251
Recurrent Neural Networkintroductionexample applicationSlot FillingRNN basic concept不同的变形Elman Network & Jorddan NetworkBidirectional RNNLSTMLearning TargetLoss FunctionTrainingproblemwhyHelp Techniquesmore applicationsentiment analysisKey term Extract
李宏毅2020ML——P11 Logistic Regression（逻辑回归）
weixin_44177594的博客
03-12 247
Review 3 steps of machine learning Step1: function set Step2:Goodness of a function 似然函数只需要将每一个点产生的概率相乘即可，注意，这里假定是二元分类，class 2的概率为1减去class 1的概率 由于L ( w , b ) 是乘积项的形式，为了方便计算，我们将上式做个变换： 这样式子进一步改写： 如果是上面的例子就会是：（目的就是为了统一格式） 现在已经有了统一的格式，我们就可以把要minimize的对
李宏毅2020ML——P22 semi-supervised半监督学习
weixin_44177594的博客
03-16 234
semi-supervisedintroduceSemi-supervised Learning for Generative ModelLow-density Separation AssumptionSmoothness AssumptionBetter Representation introduce 简单介绍： 为什么半监督学习会有效果呢？ Semi-supervised Learning for Generative Model 生成模型的半监督学习 监督生成模型： 半监督生成模型： 具体
李宏毅2020ML——无监督学习之词嵌入
weixin_44177594的博客
03-16 230
unsupervised learningintroduceword embedding基本思想：Count basedPrediction basedApplication introduce 词嵌入(word embedding)是降维算法(Dimension Reduction)的典型应用： 那如何用vector来表示一个word呢？： 思想： 如何去做呢？ 之前提到过一种基于神经网络的降维方法，Auto-encoder，就是训练一个model，让它的输入等于输出，取出中间的某个隐藏层就是降维的
AUTO-ENCODER
最新发布
09-05
引用: Auto-encoder是一种深度学习模型，用于将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。在降维方面，PCA会将不同类别的数据混合在一起，而auto-encoder则可以将它们分开。除了降维之外，auto-encoder还有其他用途，比如图片搜索。 引用: 训练一个auto-encoder的过程通常会先固定一些权重参数，然后逐层训练多个自编码器，每个自编码器的输入和输出维度逐渐逼近目标维度。最后，可以使用反向传播来微调网络参数。现在也可以不进行预训练，直接训练auto-encoder。此外，auto-encoder还可以与卷积神经网络（CNN）一起使用。 引用: 特征区分技术是指在auto-encoder中，通过编码器获取的Embedding向量中，可以区分出不同输入数据的特征信息。比如，对于语音输入，可以分别提取出语音内容和说话者的特征。这就是Feature Disentangle的目标。 根据李宏毅老师的讲解，auto-encoder是一种用于降维、重构和特征提取的深度学习模型。它可以将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。除了降维之外，auto-encoder还可以用于图片搜索等任务。训练auto-encoder时，可以使用预训练和微调的方法，也可以直接进行训练。此外，auto-encoder还可以与卷积神经网络（CNN）结合使用。特征区分技术可以用于auto-encoder中，用于提取不同输入数据的特征信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值