深度学习
对机器学习与深度学习的具体划分,我并不是理解的很清楚故而划分到一类中。本专栏致力于技术的学习与创造。
一穷二白到年薪百万
程序员
展开
-
【对比学习】Pytorch对比损失的实现及应用
对比损失比较好理解,在输入的多模态数据中使得相同对应样本的相似度越大越大,不对应样本的相似度越小越好。原创 2023-03-01 11:35:44 · 1685 阅读 · 0 评论 -
【深度学习】深度学习中的Normalization
在debug深度学习模型时,经常会看到normalization操作。但是要一查这个操作到底有啥用处时,经常会看到同一个答案:使得神经网络每一层的分布一致,那么不禁就要问为什么一致就会使得模型的性能提高,本篇文章尝试去了解这个问题的始末。本篇博客主要是基于参考文献【1】的知识框架结合个人理解和其它文献整理而成,如有错误或者侵权请各位大佬在文末留言。原创 2022-11-07 15:20:48 · 381 阅读 · 0 评论 -
【深度学习】深度学习中激活函数的优缺点
[1]深度学习中激活函数的优缺点(1)[2]深度学习中激活函数的优缺点(2)原创 2022-10-23 11:03:13 · 311 阅读 · 0 评论 -
【深度学习】生成模型:VAE(自编码器)模型解析
本文为自己自学内容的记录,其中多有借鉴别人博客的地方,一并在在参考文献中给出链接,其中大部分截图来自李宏毅深度学习PPT课件。本文前置知识高斯混合模型和EM算法,如果不了解这两种算法直接看VAE模型会有理解上的障碍。其实那么多数学公式推导,我自己都有点晕,但是本质上就是用自编码器去产生很多高斯分布,去拟合样本的分布,然后某个x对应的高斯分布里采样z,然后复原成x,跟GAN区别就是这个是完全去模仿分布,只能生成数据中已有的图片,很难创造新的图片,最多也就是插值图片了。原创 2022-10-08 23:53:57 · 19230 阅读 · 0 评论 -
生成扩散模型漫谈
转载自 PaperWeekly 作者苏剑林生成扩散模型漫谈:DDPM = 拆楼 + 建楼生成扩散模型漫谈:DDPM = 自回归式VAE生成扩散模型漫谈:最优扩散方差估计(上)再谈变分自编码器(VAE):估计样本概率密度生成扩散模型漫谈:一般框架之SDE篇生成扩散模型漫谈:一般框架之ODE篇生成扩散模型漫谈:DDPM = 贝叶斯 + 去噪转载 2022-09-29 19:00:25 · 437 阅读 · 0 评论 -
【深度学习】深度学习中的双线性变换?
[1]为什么attention机制中用双线性变换计算匹配度?[2]torch.nn.Bilinear原创 2022-09-13 15:23:08 · 558 阅读 · 0 评论 -
【深度学习】什么是互信息最大化?
1]什么是「互信息」?[2]DIM:通过最大化互信息来学习深度表征[3]【互信息 Deep InfoMax】Learning Deep Representations by Mutual Information Estimation and Maximization[4]ICLR 2020 | 互信息视角下的表征学习[5]互信息的深度理解(总结的不错值得一看)[6]互信息在深度学习的应用[6]对比学习(Contrastive Learning)综述。...原创 2022-08-10 09:54:08 · 6993 阅读 · 1 评论 -
【深度学习】Transformer模型详解
本文为学习记录,其中的内容和图片多有借鉴其他文章的内容,相关博文在参考文献处一并给出链接。原创 2022-07-30 21:52:14 · 450 阅读 · 0 评论 -
GAN生成对抗网络
[1]小白手把手带你入门GAN(生成对抗网络)–前言[2]看完还不懂生成对抗网络GAN请你咬我|附GAN超全学习材料原创 2022-06-15 10:37:18 · 108 阅读 · 0 评论 -
【损失函数】focal loss损失函数解决样本不平衡问题
参考文献[1]focal loss 调参(保存)[2]focal loss 通俗讲解原创 2022-05-24 15:19:18 · 603 阅读 · 0 评论 -
【深度学习之美】
参考文献【1】原创 2022-04-10 17:00:36 · 400 阅读 · 0 评论 -
【经典机器学习】数据可视化
参考文献[1]PCA主成分分析实例及3D可视化(鸢尾花数据集)[2]对数据进行k-means聚类并进行三维可视化[3]如何将标签注释到3D matplotlib散点图?[4]K-means(K均值)算法 简单实现 二维/三维结果展示[5]Matplotlib: Annotating a 3D scatter plot...原创 2022-03-13 15:27:45 · 1375 阅读 · 0 评论 -
深度学习中的batch的大小对学习效果有何影响?
参考资料[1]深度学习中的batch的大小对学习效果有何影响?原创 2021-05-28 11:15:32 · 119 阅读 · 0 评论 -
测试集的精度随着迭代次数增加呈现先升高后下降的趋势是为什么?
参考资料[1]测试集的精度随着迭代次数增加呈现先升高后下降的趋势是为什么?原创 2021-05-28 11:14:24 · 2827 阅读 · 0 评论 -
【深度学习】为什么神经网络中会出现梯度消失或爆炸问题
神经网络中出现梯度消失或梯度爆炸主要的原因有各种各样的解释,主流的也就两种。一种是由于激活函数原因,另一种是网络层数太深导致反向传播过程中值会越来越小,从而出现梯度爆炸问题。参考资料[1]为什么神经网络会出现梯度消失和梯度爆炸?...原创 2021-05-19 20:10:31 · 1458 阅读 · 0 评论 -
用学习曲线判断模型是过拟合还是欠拟合
参考资料[1]判断模型是过拟合还是欠拟合–学习曲线原创 2021-05-17 15:28:59 · 553 阅读 · 0 评论 -
深层学习为何要“Deep”
[1]深层学习为何要“Deep”原创 2021-05-17 15:18:14 · 102 阅读 · 0 评论 -
基于矩阵分解的CF算法实现(一):LFM
基于矩阵分解的CF算法实现(一):LFMLFM也就是前面提到的Funk SVD矩阵分解LFM原理解析LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户和物品,如下图:P矩阵是User-LF矩阵,即用户和隐含特征矩阵。LF有三个,表示共总有三个隐含特征。Q矩阵是LF-Item矩阵,即隐含特征和物品的矩阵R矩阵是User-Item矩阵,有P*Q得来能处理稀疏评分矩阵利用矩阵分解技术,将原始User-Item的评分矩阵(稠密/稀疏)分解为P和Q矩阵,然后原创 2021-04-03 23:20:22 · 385 阅读 · 1 评论 -
训练集、验证集、测试集划分
https://blog.csdn.net/u010916338/article/details/92585641原创 2021-03-30 22:01:11 · 294 阅读 · 0 评论 -
2层感知机(神经网络)实现非线性回归(非线性拟合)【pytorch】
[1]https://blog.csdn.net/u010970956/article/details/100947629原创 2021-03-27 09:26:32 · 780 阅读 · 0 评论