![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习+机器学习经典算法介绍
文章平均质量分 80
简单介绍深度学习加机器学习经典算法
像风一样自由的小周
这个作者很懒,什么都没留下…
展开
-
MAE论文笔记+Pytroch实现
本篇论文提出了一个非对称自编码器架构(这里的非对称指的是Encoder和Decoder看到的东西即输入时不一样的),用来得到一个泛化能力比较强的特征提取器。进行自监督学习可以用来进行迁移学习。自编码器简单的说就是一个模型包含两个部分Encoder和Decoder,其中Encoder用来进行特征提取,Decoder用来进行还原图像。自编码器的任务是输入噪声或有损图片,输出重构好的图片,就是还原图片。通过训练,得到的特征提取器Encoder就有较强的特征提取能力,可以用来进行自监督学习。什么叫自监督学习呢?原创 2023-04-08 23:06:42 · 2053 阅读 · 4 评论 -
ViT笔记以及其Pytroch实现
目前在NLP领域,transformer已经占据主导地位。不少学者尝试将attention和CNN相结合,这些方法往往依赖于CNN,其性能相较于常见的卷积网络如ResNet等还是有差别。在NLP领域,使用transformer时,当不断增加模型大小和数据集数量,模型性能没有出现饱和趋势。同样的在CV领域,当数据量较小时,使用transformer有时并不比常见卷积性能好。但当数据集数量不断变大,transformer性能不断提高,甚至超过常见卷积模型。本片论文介绍的方法主要是用来进行分类的。原创 2023-04-06 10:33:15 · 714 阅读 · 0 评论 -
特征可视化技术t-SNE
python sklearn就可以直接使用T-SNE,调用即可。这里面TSNE自身参数网页中都有介绍。这里fit_trainsform(x)输入的x是numpy变量。pytroch中如果想要令特征可视化,需要转为numpy;此外,x的维度是二维的,第一个维度为例子数量,第二个维度为特征数量。比如上述代码中x就是4个例子,每个例子的特征维度为3。Pytroch中图像的特征往往大小是BXCXWXH的,可以flatten一下变成[B, CXWXH]。原创 2023-02-28 18:29:52 · 1342 阅读 · 0 评论