深度学习(12):Linear method，Neighbor Embe and auto-encoder——Unsupervised learning

最新推荐文章于 2022-02-18 17:42:36 发布
最新推荐文章于 2022-02-18 17:42:36 发布
阅读量143 收藏
点赞数
文章标签： 深度学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/112802072
版权

Unsupervised Learning

  • clustering&dimension reduction ——化繁为简：将比较复杂的input转为简单的output
  • generation ——无中生有 输入一个random code，画出不一样的output
  • 只有function output

在这里插入图片描述

1、Clustering

对一堆无label得图片/样本做分类

how many clusters do we need？

1.1 K-means

  • 1、给定数据集，给定分类数目k
  • 2、初始化k个center点
  • 3、将数据集所有得样本堆center做分类，重复大N次
  • 4、对center做更新，把所有属于这个分类的样本做平均，得到新的center点
  • 5、重复2、3、4，直到收敛
    在这里插入图片描述

1.2 Hierarchical Agglomerative clustering

  • 1、build a tree
  • 2、两两计算相似度，merge两个相似度高得样本
  • 3、不断计算相似度，merge，直到得到root
  • 4、pick a threshold
    在这里插入图片描述
    在这里插入图片描述

threshold不同，分类的结果会不同，hac与k-means的差别是对class number的定义。k-means需要自己手动调整。hac通过调整threshold的值来决定class number。

1.3 Distributed representation

在这里插入图片描述
将一个特征很多的样本通过给定分类的distribution来做数据降维

dimension reduction

数据在不同维度上的表现不同
在这里插入图片描述

example

描述一个digit不需要28x28得dims

在这里插入图片描述
找到一个function，output得z得dimension要比input得x药效。

  • feature selection
  • Principle component analysis（PCA）：将function看作linear model，根据很多x将w找出来

在这里插入图片描述

PCA

把样本x投影到w上得到了z得数组。可以看作把w当作一个新的特征，让x在这个新的特征上得variance大，则表明每个样本在新特征上的表现不同。就可以用新的特征进行分类。
在这里插入图片描述

投影到更多维

在这里插入图片描述

w是正交矩阵

how to find w matrix？

在这里插入图片描述
通过最大化w找到使z1得方差最大，但保证w1得二范式为作为限定条件

w1是协方差矩阵x得特征向量，对应的最大特征，通过拉格朗日乘子法

  • 对w矩阵每个数求偏微分

在这里插入图片描述
w2也是协方差矩阵的特征向量，它对应第二大的特征值 λ 2 \lambda^2 λ2
-两个限制条件的拉格朗日

在这里插入图片描述

pca——decorrelation

不同dimension之间的covariance是0，即不同特征间的相关性不大

在这里插入图片描述
w矩阵向量中乘w1，w1与其他w都是正交的，且w1乘w1的值为1所以最后得到的矩阵为对角线矩阵，且对角线上的值为每一个维度得特征值

pca another point of view

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

weakness of PCA

  • 将数据降维可能会导致两个class的数据被project到一个维度，无法再区分
  • pca是linear transformation，无法处理non-linear的数据集

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
牺牲一部分特征的大小，换取某一个特征的最大值

在这里插入图片描述
因为对于每个component得权值范围没有限定，所以每个component不一定是digit得一部分。有一些image可能是通过两个component相减得到
NMF:所有得component得weight都是正的，保证一个图是由若干component叠加而成，保证特征向量也都是正的。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
预测问号的值

在这里插入图片描述
在这里插入图片描述

2、Neighbor Embedding

Manifold learning（流形学习）

在这里插入图片描述

Local linear embedding（LLE）

寻找xi和xj的关系：wij
找一组wij，使图中的算式损失最小
在这里插入图片描述
当把xi和xjproject到z上，他们的关系wij是不变的 keep wij unchanged

在这里插入图片描述
找到一组zj可以与zi满足上述算式最小

Laplacian Eigenmaps

把一些datapoints通过计算相似度连接起来

在这里插入图片描述
在这里插入图片描述

对于unsupervised learning
在计算smooth S的值时，如果wij很大说明zi和zj相似度大，则他们的距离需要小一些。如果相似度很小，它们的距离怎样都可以。

problem：如果要选s最小，可能zi=zj
所以要对z加以一些限制。

在这里插入图片描述
对z做谱聚类，保证z展开后不会再更低纬的空间

T-distributed stochastic Neighbor embedding（t-SNE）

在这里插入图片描述

可能类似的点被分到一类，但是不相似的点也还没有分开

使用kl计算x分布和z分布的相似度
目的：找到一组z，使xi对于其他的points的distribution和zi对于其他points的概率之间的kl散度越小越好

在这里插入图片描述
常用做visualization

similarity measure

对于SNE方法：
对于xi和xj之间的相似度计算是用rbf做的
对于zi和zj之间计算相似度也用rbf做

在这里插入图片描述

如果本身xi和xj距离很近，哪么它们project到z上的相似度很大，距离依然很近。
但如果之前在xi和xj上相似度很低，那么它们到了z上会离得更远。

在这里插入图片描述
t-SNE会把每个不同类的数据分化的更远(使用gradient descent训练得到)

3、Deep auto-encoder

在这里插入图片描述

encoder和decoder要一起训练

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加入deep auto-encoder，它的输出结果会更加符合原输入

Text Retrieval

计算查询词汇与很多文档之间的相似度
在这里插入图片描述
在这里插入图片描述

similar image search

只在pixel上做欧几里得距离的相似度，很难得到好的结果。
可以将image的pixel输入auto-encoder得到一个降维的code vector。包含了更多的信息

在这里插入图片描述

pre-training DNN

用来找到一组比较好的initialization，

在这里插入图片描述
在有大量的unlabeled data时可以使用

在这里插入图片描述
encoder学习如何把noise过略掉

Auto-encoder for CNN

想要学习一个encoder总要有一个decoder
在这里插入图片描述

Unpooling

要记住pooling的时候从哪里取值

在这里插入图片描述
unpooling时除了最大值外其他的位置自动补零

其他的方法：直接把maxpooling的值复制n份

Deconvolution

在这里插入图片描述
右边的图在外层补0
convolution和deconvolution的weight是相反的

在这里插入图片描述

weixin_51182518
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习 -- Unsupervised Learning: Neighbor Embedding
01-30
Unsupervised Learning: Neighbor Embedding Manifold Learning Locally Linear Embedding (LLE) Laplacian Eigenmaps T-distributed Stochastic Neighbor Embedding (t-SNE)
课程笔记——Unsupervised Learning：Linear Methods
mintminty的博客
06-22 440
1 Unsupervised Learning作用 Clustering & Dimension Reduction(化繁为简)：将复杂的输入转化输出为简单内容，如输入一组树的图片 输出一颗抽象的树图片。 Generation(无中生有)：输入特定值，通过已知的function输出不同类型的树图片。 本课时重点在于线性问题中的Dimension Reduction。 2 Clusterin...
李宏毅机器学习课程笔记5：Unsupervised Learning - Linear Methods、Word Embedding、Neighbor Embedding
徐子尧的博客
02-11 7149
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第13-15课所做的笔记和自己的理解。Lecture 13: Unsupervised Learning - Linear Methods Unsupervised Learning有两种，化繁为简（Clustering & Dim
技术动态 | 不确定性知识图谱的表示和推理
开放知识图谱
05-03 2811
本文转载自漆桂林知乎。作者 |张嘉韬、漆桂林、吴天星文章链接 |https://zhuanlan.zhihu.com/p/369068016随着近年人工智能的兴起，各种大型的通用知识图...
详解深度学习之 Embedding
qq_41775769的博客
12-09 1万+
深入理解深度学习之 Embedding 1. 从 one-hot 编码引入 Embedding 在正式介绍 Embedding 之前，我们必须先理解它提出的背景，也就是说研究者提出 Embedding 是为了解决什么问题。 首先我们有一个 one-hot 编码的概念。我们知道神经网络是不能处理字符数据的，所以在文本预处理中对一句话进行数值编码，比如对于一句话“我 从 哪 里 来 要 到 何 处 去”，我们可能会很直观的对每个字进行 从 0 到 N（N 表示所有不同字符的个数） 这样的索引编码，于是就有： [
学习论文"Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs"笔记
いいこと？暁の磕盐线に胜利を刻みなさいっ！
01-29 2107
1.文章的重点工作和创新点 1.Zero-shot：零样本学习，相关简介如下， 禁 止 套 娃 零样本学习常用演算法有： Domain Adaptation，推荐Associative Adaptation系列的论文"Associative Domain Adaptation " Data Selection：是一种相对直观的方法，论文《Selecting Training Data for ...
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
09-20
主要介绍了Python机器学习k-近邻算法(K Nearest Neighbor),结合实例形式分析了k-近邻算法的原理、操作步骤、相关实现与使用技巧,需要的朋友可以参考下
用Scikit-learn进行机器学习（五）：使用Scikit-learn进行KNN分析——KNN模型的提升KD-Tree的原理和KD-Tree癌症案例
12-22
2.最近邻域搜索（Nearest-Neighbor Lookup）3.构造方法4.案例分析4.1 树结构的建立4.2 最近领域的搜索4.2.1 查找点(2.1,3.1)4.2.2 查找点(2,4.5)5.总结KD-Tree案例癌症的数据建立模型 KNN算法的模型提升KD-Tree k...
EasiND: Neighbor Discovery in Duty-Cycled Asynchronous Multi-Channel Mobile WSNs
02-09
EasiND: Neighbor Discovery in Duty-Cycled Asynchronous Multi-Channel Mobile WSNs
Moore-Neighbor Boundary Trace：Moore-Neighbor Tracing 提供二值图像中对象边界的轨迹。-matlab开发
05-30
函数边界 = traceit( 输入 ) % 此功能使用摩尔邻居跟踪来提供一个有组织的列表二值图像中对象的边界轨迹中的 % 点。 % % 输出格式为： % ％[x1 y1] % [ x2 y2 ]... % % 为了更好地解释 Moore-Neighbor Tracing 算法，请
深度学习Embeding层建立
it_xiaohu123的博客
02-18 833
import torch import torch.nn as nn #词表 word_to_id = {'hello':0, '<PAD>':1,'world':2} embeds = nn.Embedding(len(word_to_id), 4,padding_idx=word_to_id['<PAD>']) #len取的是有多少种词，而不是数据的大小，这个需注意 text = [0,1,2,1] hello_idx = torch.LongTensor(text) #词.
一周搞懂一个机器学习算法之最近邻和k近邻Nearest Neighbor&k-Nearest Neighbors
fbygg的博客
07-02 1458
Nearest Neighbor&amp;amp;k-Nearest Neighbors 最近邻是一种十分简单的机器学习算法，既可以应用到分类中，也可以在回归问题中使用，是一种非监督学习方法。 原理简介 我的理解 代码实现 k近邻原理简介 对于一个未知类别的样本（分类问题），通过计算找到与它最近的已知类别的样本，将这个已知样本的类别赋予未知样本。扩展到k近邻，就是找到k个与它距离最近的，将...
深度学习中Embedding层有什么用？
热门推荐
赵大宝的博客
09-05 16万+
在深度学习实验中经常会遇Eembedding层,然而网络上的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “*嵌入层将正整数（下标）转换为具有固定大小的向量*”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢?
深度学习中的embedding
星辰大海，脚踏实地
12-03 7万+
分类输入数据(Categorical Input Data) 分类数据是指表示来自有限选择集的一个或多个离散项的输入特征。 例如，它可以是用户观看的电影集，文档中的单词集或人的职业。 分类数据通过稀疏张量(sparse tensors)表示最有效，稀疏张量是具有非常少的非零元素的张量。 例如，如果我们正在构建电影推荐模型，我们可以为每个可能的电影分配一个唯一的ID，然后通过用户观看过的电影的稀疏张...
neighbor
学习笔记
04-23 1117
题目描述 隔壁学校地形图可以通过一个高度矩阵表示，矩阵中每一个位置都有一个数hi, j表示这个坐标的海拔，我们姑且将其称为海拔图，容易发现，我们可以通过这个矩阵轻松算出隔壁学校的主视图，左视图。 相反的，我们却不能通过主视图和左视图唯一确定海拔图，现在问题来了，已知主视图左视图，我们需要知道铲平隔壁学校的代价上限和下限(即可能的体积最大值与最小值) 输入 第一行两个数 n , ...
k-最近邻聚类k-Nearest Neighbor
lengo的专栏
12-03 2288
这里只给出k-最近邻聚类k-Nearest Neighbor的实现过程，算法的原理请自行搜索，代码如下： k-最近邻聚类算法的主程序：clc; clear; %读取数据文件,生成点矩阵 fileID = fopen('D:\matlabFile\KNN\KNN.txt'); C=textscan(fileID,'%f %f'); fclose(fileID); %显示数组结果 %cell
KNN(k-nearest neighbor的缩写)最近邻算法原理详解
春华秋实
08-24 9万+
k-最近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 基于实例的学习 已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 基于实例的...
【Unsupervised Learning1】linear method
lucyyy_W的博客
09-18 236
定义：没有golden label（只有一边，input or output） 分类： ·clustering and dimension （化繁为简）eg：输入一堆真实的树 输出简单的树 ·generation(无中生有） eg：输入random number 自动输出一张图片（只有output 没有input） clustering eg：输入一堆图片，聚类成多个类别 key questi...
基于深度学习的处理文本数据的四步法（Embed,encode,attend,predict:）
一碗竹叶青的博客
11-11 931
转载来自：https://explosion.ai/blog/deep-learning-formula-nlp 在过去六个月，一种强大的新型神经网络工具出现应用于自然语言处理。新型的方法可以总结为四步骤：嵌入（embed），编码（encode），加入（attend），预测（predict）。本篇文章解释了新方法的各个部分。并在最近的两个系统中展示如何使用。 当人们思考机器学习的改善时，他们通常会...
有城市S、A1、A2、A3、B1、B2、C1、C2、T，他们之间的距离如下： S-A1:6 T-A2:3 S-A3:3 A1-B1:6 A1-B2:5 A2-B1:6 A2-B2:6 A3-B1:7 A3-B2:4 B1-C1:7 B1-C2:7 B2-C1:8 B2-C2:9 C1-T:5 C2-T:6 现在要求让一条路径同时经过S、A1、A2、A3、B1、B2、C1、C2、T，请用Python代码求解最短路径及路径的长度。
最新发布
06-06
for neighbor, weight in graph[current_node].items(): new_distance = distance + weight # 如果新的距离比之前的距离更小，则更新距离和前驱节点 if new_distance [neighbor]: distances[neighbor] = new_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值