李宏毅机器学习_10-4无监督学习-自编码器

最新推荐文章于 2022-04-29 17:43:33 发布
最新推荐文章于 2022-04-29 17:43:33 发布
阅读量168 收藏
点赞数
分类专栏： 李宏毅课程-机器学习飞桨深度学习学院
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/116882625
版权

没有数据的时候直接自我学习，非常妙
在这里插入图片描述
深度学习，每层用不同维度，能把不同层面的特征学习出来，更好的表示输入的特征向量
在这里插入图片描述
加入噪音，鲁棒性会更好，不仅能学到输入的特征，还能把噪音数据过滤掉
在这里插入图片描述
传统的词袋发只是累计的一个词频统计而已，并没有把上下文的语义信息考虑进来
在这里插入图片描述
相似度匹配的前提是，这个进行相似度计算的向量一定是足够好的能表示输入图像、文本、语音特征的向量，那要训练出这样的向量，数据不能少，模型足够好
在这里插入图片描述
图像的恢复，饭池化和反卷积
在这里插入图片描述
池化就是补零回复而已，反卷积其实本质上还是一个卷积运算，补零后进行卷积运算而已
在这里插入图片描述
预训练模型只是，无监督自编码的一个应用而已
在这里插入图片描述
引入L2正则化，让向量分布在0的周围，取周围的向量，恢复后，能看到机器确实能学到有规律的不一样的特征
在这里插入图片描述

李宏毅机器学习（9）—无监督学习（PCA）
qq_37217397的博客
03-08 623
分类 无监督学习可以分为两类： 一类是化繁为简，实际上是聚类和降维； 另一类是无中生有，即生成算法。 聚类算法 下述两种算法的区别在于，K-means聚类要事先自己设定要划分为几个cluster，而HAC不需要。 K-means聚类 ①人工设定有k个cluster，并为他们设置K个随机的examples。 ②为所有的样本计算出他们最可能属于的cluster（计算距离）。 ③对每个cluster求m...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5851
self-attention，transformer及变形
[李宏毅-机器学习]无监督学习 unsupervised learning
炼丹师
02-14 1242
Clustering 聚类 K-means Hierarchical Agglomerative Clustering Dimension Reduction 降维 PCA 找到一个方向w1，使得数据x投影在这个方向上，方差最大，这样在这个维度上还可以轻易区分各个数据z1 当需要投影到多维的时候，再找一个方向w2，使得x投影在这上方差最大，其中w2和w1是垂直的 ...
李宏毅《Machine Learning》笔记 -- 无监督学习--auto encoder
weixin_39847930的博客
09-21 209
Unsupervised Learning Deep learning 做无监督学习的方法 Auto-encoder 用神经网络做降维 encoder decoder独自存在没法学。 bottleneck layer 瓶颈层 deep ae 就是多加几层 重点不是最后loss低，而是code做的有多好 De-noising auto-encoder 为了train的更好...
李宏毅机器学习——无监督学习(一)
日积月累，天道酬勤
02-11 614
引言 本文主要探讨无监督学习的线性方法(Linear Methods)。 聚类 把很多不同的图像，根据它们的相似度分成不同的组（类别），问题是要分成多少个组。 最常用的方法有： K-means 聚类NNN个数据X={x1,⋯ ,xn,xN}X=\{x^1,\cdots,x^n,x^N\}X={x1,⋯,xn,xN} 到KKK个组 初始化KKK个分组中心点:ci,i=1,2,⋯ ,Kc^i,i=...
李宏毅机器学习——无监督学习(二)
日积月累，天道酬勤
03-07 481
引言 本文主要讨论单词嵌入(Word Embedding)。是用在文本上的降维方法。 单词嵌入 喂给机器大量的文章后，它可以自动的把每个不同的词汇都用一个向量来表示。 我们希望机器在用向量来表示词汇后，向量每个维度都代表某种含义。 或者说这些词汇有相似的关系或某种语义，能在这个向量中呈现出来。 这些来描述词汇的向量我们就称为单词嵌入。 一次词汇如果只用一个向量来描述它，最简单的方法就是1-of-...
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder
guoxinxin0605的博客
08-14 381
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder摘要一、Auto-encoder简介二、与PCA的联系三、Deep Auto-encoder四、应用4.1、Text Retrieval文本检索4.2、Similar Image Search相似图像搜索4.3、Pre-training DNN4.4、CNN as Encoder4.4.1、去池化层(Unpooling)4.4.2、去卷积层(Deconvolution)4.5、 Auto
16、【李宏毅机器学习（2017）】Unsupervised Learning: Deep Auto-encoder（无监督学习：深度自动编码器）
Jimmyzqb的博客
08-29 4501
本篇博客将介绍无监督学习算法中的 Deep Auto-encoder。 目录 Deep Auto-encoder Deep Auto-encoder的降维作用 Auto-encoder – Text Retrieval Auto- encoder for CNN Auto-encoder – Pre-training DNN Decoder Deep Auto-encode...
NLP-D6-李宏毅机器学习L3hw-L4self-attention-L5seq2seq(Transformer)
weixin_45252975的博客
04-29 1806
昨天的进度被一些意外的事情打乱了，而且搞得心烦意乱，但是没关系！！！留得青山在，不怕没柴烧，昨天第一次给同学讲解ML，发现了自己不牢固的知识，感觉很好！ ----0553 开始预习hw3的slides&&看课。 ----------0609 看了作业要求，感觉很干！！！打算边吃饭边看。 ------0628吃完了，产生了问题 1、交叉验证不会使模型提前见到训练集嘛？ 我自己的想法：我们本来做的就是用val调model，交叉验证只不过是另一种利用val的方法。 ------0710大概看完了，
李宏毅机器学习课程：深度自编码器与无监督学习
"该资源是台湾大学李宏毅教授在B站发布的机器学习课程相关课件，主要涉及无监督学习中的深度自编码器(Deep Auto-encoder)技术。" 深度自编码器是一种无监督学习方法，它由两部分组成：编码器(Encoder)和解码器...
李宏毅老师机器学习课笔记-自监督式学习
weixin_43113135的博客
06-01 209
机器学习基石-10-4-Gradient Descent
hahahyahshsba的博客
11-17 218
Gradient Descent v是单位向量，所以还得除以它的模。 每一次移动的步长η是动态变化的最好，刚开始移动时η会大一些，每迭代一次η就会变小，η和是正相关的关系。 所以logistic regression的具体步骤就是： fun time Gradient Descent
李宏毅机器学习系列-无监督学习之PCA
王伟王胖胖的博客
08-26 1946
李宏毅机器学习系列-无监督学习之PCA无监督学习做什么聚类(Clustering)分布式表示(Distributed Representation)降维主成分分析 (Principle component analysis)数学推导 无监督学习做什么 我们做无监督学习一般就是两个方向，一个是降维，比如下面的树，只有输入，没有标签，我们希望通过一个函数抽象出少量的特征来描述他们，于是就抽出来了一个更...
自编码器图像去噪
baidu_28610773的博客
11-30 2055
自编码器(AutoEncoder)是深度学习中的一类无监督学习模型，由 encoder 和 decoder 两部分组成。 • encoder 将原始表示编码成隐层表示; • decoder 将隐层表示解码成原始表示; • 训练目标为最小化重构误差; • 隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意 义的表示。 自编码器主要是一种思想，encoder 和 decoder 可以由全连...
无监督的预训练
热门推荐
ningyanggege的博客
06-06 1万+
如图所示：假设你想要解决一个复杂的任务，你没有太多的标记的训练数据，但不幸的是，你不能找到一个类似的任务训练模型。 不要失去所有希望！ 首先，你当然应该尝试收集更多的有标签的训练数据，但是如果这太难或太昂贵，你仍然可以进行无监督的训练（见图 11-5）。 也就是说，如果你有很多未标记的训练数据，你可以尝试逐层训练层，从最低层开始，然后上升，使用无监督的特征检测算法，如限制玻尔兹曼机（RBM；见附录...
GAN李宏毅（3）——无监督conditional GAN
duyue3052的博客
09-22 1408
目录 问题——如果判别器不仔细设计，而生成器又比较深的话，会导致生成图像与原始图像差别很大 方法1——加一个训练好的分类器 ​ 方法2——circle GAN 两个生成器，两个判别器，一起训练 存在的问题 ​ 扩展——starGAN 方法3——统一空间 为了减少模糊，增加判别能力，我们引入判断全局信息的判别器——VAEGAN 由于是分开训练的，并没有映射到相同空间 方法1c...
李宏毅机器学习系列-无监督学习之自编码器
王伟王胖胖的博客
08-27 1019
李宏毅机器学习系列-无监督学习之自编码器自编码器是什么自编码器文字处理自编码器搜索相似图片自编码器预训练DNN自编码器去噪自编码器用于CNN自编码器可当做生成器总结 自编码器是什么 先举个例子，比如我们用一个神经网络要把一张图片压成一个code，希望这个code的维度比图片小，我们有很多的图片，但是没有code的标签，也就是我们有输入，没有输出，好像没办法学习： 同理我们可以给一个随机的code...
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 498
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
机器学习(10.4)--手写数字识别的不同算法比较(4)--神经网络
雨落那秋林
02-23 1598
如果你对神经网络还不太了解，又想了解这篇文章，希望你能先看机器学习(1)--神经网络初探在那篇代码中，对神经网络基本原理讲的更细致一些，在这篇文章里，对于weights和biases的设置，我采用了另一种方法，先简单说一下1、在那篇中，biases是在每层神经元(除去最后一层)基础上再加一个补充的一个神经元当BIASES,但这不能算是相对准确的biases   假如在一个[10 5 2]  那么，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值