深度学习
文章平均质量分 91
gailj
校级十佳研究生标兵
全国大学生智能汽车竞赛国家一等奖
发表SCI论文多篇
展开
-
人工智能与物理学(软体机器人能量角度)的结合思考
说白了,施加的外部能量,必须要克服伸直态和卷曲态之间的能量壁垒(可以结合上面的图观察,施加的能量必须要大于它的极大值才能跃迁,如果我们只给了一点点能量肯定是不行的)。其实人工智能和双稳态是一样的,人工智能在运算过程中会陷入局部极小值(Local Minimum),但是我们想要的不是局部极小值,而是一个全局最小值,这样才能保证算法的最优化(就像我们高中学数学导数一样,题目要求我们必须要找到一个最小值,但是往往我们容易把极小值当成最小值来算)。这也相当于数学在物理学中的实际应用了,品味知识的乐趣。原创 2023-08-03 17:46:03 · 1326 阅读 · 0 评论 -
深度学习中常见卷积(普通卷积、1×1卷积、转置卷积、可分离卷积、膨胀(空洞)卷积、3D卷积)
总是在网络上看到各种名词的卷积,但是有搞不懂是什么含义,于是结合网上查阅的资料,总结一下。目前比较常用的卷积主要有常规的卷积、1×1卷积、转置卷积、可分离卷积、膨胀卷积、3D卷积。 以下是一些可参考的链接:https://cloud.tencent.com/developer/article/1413083https://zhuanlan.zhihu.com/p/267249291https://www.cnblogs.com/gshang/p/13548561.htmlhttps://bl原创 2022-04-10 23:47:57 · 12829 阅读 · 2 评论 -
视频理解开山之作——双流卷积网络
结合部分博客,和李沐老师的课程,总结一下自己理解的双流卷积网络。为什么要有双流网络? 视频理解的一大难题是,不同帧之间的内容是相互关联的,因此我们需要学习到不同帧之间的关联信息。直觉做法是丢入全部图片进入网络,让网络自己学习图片信息和图片间的关联信息。但是这样效果不好,因为网络很难学到这么多信息。因此我们有个主意,能不能用两个网络,一个网络学习图片信息,另一个网络学习时序信息。然后将这两个网络汇总起来判断。双流模型结构 如上图所示,模型分为两部分,spatial stream部分以单帧图片原创 2022-03-28 16:37:31 · 4247 阅读 · 0 评论 -
经典论文学习笔记——13篇对比学习(Contrastive Learning)
跟着李沐老师的对比学习课程看了一遍,又照着知乎 / CSDN等各位大佬的总结,重新理解了一遍,下面根据自己的学习来总结一下。着重讲一下MoCo,及附带其他12种对比学习的论文的改进之处。原创 2022-03-28 12:06:32 · 17706 阅读 · 1 评论 -
经典论文阅读笔记——R-CNN、Fsst R-CNN、Faster R-CNN、Mask R-CNN、YOLO、SSD 等
本博客针对目标检测方面的经典论文,参考现有博客等资料和自己的感想,进行一点总结,方便自己以后看笔记。原创 2022-03-21 21:48:15 · 982 阅读 · 0 评论 -
经典论文阅读笔记——AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet
近期读了一些经典论文,本博客主要是基于CNN方面经典的网络做一下总结,基于自己对论文的理解和向他人博客的学习总结。AlexNet AlexNet是2012年由深度学习之父Hinton的学生Alex提出的,其在图像处理方面优异的表现开创了一个新时代。这篇文章个人感觉偏重于工程性应用,尽管说许多idea放在今天已经不太实用了(现在有更好的方法和模型),但是在十年前能做出这样的成果确实是难能可贵的了。 上图是AlexNet的网络结构,总共有8层,其中卷积层有5层,剩下的是3个全连接层。可以看出它的原创 2022-03-19 23:01:34 · 1595 阅读 · 0 评论 -
domain adapation 初步理解
domain adapation(领域自适应)是迁移学习的一种,也是目前迁移学习中主要研究方向,旨在解决测试数据不方便采集、标注,耗时耗力等情况,希望通过迁移学习提高识别准确率。Domain adapation 回顾核心问题:训练资料和测试资料的分布不同,采用迁移学习的方法,提高准确率。情况一:有一小部分标注了的测试资料 这种算是domain adapation中很简单的情况了,你可以用这些有标注的资料,来微调你在 Source Domain(训练集)上训练出来的模型,只要稍微跑2-3个epo原创 2022-01-26 00:34:31 · 3023 阅读 · 1 评论 -
Adversarial Attack的粗略总结
这部分挺有意思,建议了解。不过知乎说这个方向有点坑,不建议深入学习。 要把 Network 真正应用,光是它们正确率高是不够的,它们还需要能够应付来自人类的恶意。比如说我们在网上下载数据集训练时,如果有人恶意在数据集上加入很小的噪点(人眼看不出),导致数据集被误判为另一个种类,这样训练出来的网络就有了隐患(后门)。攻击方法攻击可分为两种类型,一种无目标攻击,一种有目标攻击。无目标攻击:我们现在要做的目标就是,我们要找到一张新的图片,这张新的图片 我们用 x 来表示,当我们把 x 丢到这个原创 2022-01-25 22:30:44 · 1231 阅读 · 0 评论 -
GAN的初略理解
结合李宏毅老师机器学习2021——GAN课程和网上查阅的资料,总结一下对GAN的理解GAN的本质是什么 GAN本质是分布的拟合。 详细说就是,把输入的向量拟合成特定的分布。例如,输入一个随机向量,另外给一堆二次元图像,要求将这个随机向量生成二次元的头像,其实就是将这个向量,拟合为二次元的分布形式,训练完成后生成的图片与真实的二次元图片是分不开的(很相似)。因此它的本质还是一个拟合问题。GAN真的创造新的信息了吗? 我认为是没有的。因为它的本质只是一个学到了原始数据分布的生成模型,所生成的图片原创 2022-01-20 18:39:14 · 3411 阅读 · 0 评论 -
关于Transformer、BERT的理解
结合李宏毅老师机器学习2021——Transformer课程和网上查阅的资料,总结一下对Transformer的理解Transformer是什么?从宏观角度来看,Transformer是一种基于Self-Attention机制的Seq2seq模型(序列模型),由编码器和解码器组成(自己总结的)。所以在学习Transformer前,需要先弄明白Seq2seq、编码器 / 解码器、Self-Attention(见本人之前的csdn博客)是什么。Seq2seq模型:这是一个序列到序列的模型,输入一个序列原创 2022-01-17 22:25:51 · 9212 阅读 · 1 评论 -
关于Attention、Self-Attention机制的理解
结合李宏毅老师机器学习2021——Self-Attention课程和网上查阅的资料,总结一下对Attention机制的理解Attention机制就是权重分布Attention机制的核心就是,决定整段输入的哪个部分需要更加关注。Attention机制翻译中文就是注意力机制,这就和我们人类看图片、看自然语言是一样的,我们人读一句话是有自己的关注点,重点词汇的。比如我输入一张图,我让你判断这是一只鸟,那么鸟嘴、鸟爪等等patten是很重要的,而Attention机制就是给这些patten一个权重。再比如我原创 2022-01-17 00:38:13 · 2328 阅读 · 1 评论 -
CNN 学习总结 (Pytorch)
这篇博客总结一下我在学习卷积神经网络(CNN)中遇到的疑惑卷积神经网络出现的原因? 如果模型很大,可能会过拟合,所以我们必须要对模型进行一些限制。因此首先要思考我们如何针对影像问题来做limitation。对一个影响辨识系统而言,最重要的是侦测在这张图片中有没有很重要的patten,例如我们人类看一张鸟类的图片,怎么知道这是一只鸟呢?肯定是先看鸟嘴、鸟爪等部分,这些在影像系统中就是很重要的。 基于此,CNN提出了卷积的概念,CNN会设定一个区域叫做 Receptive Field(感受野)原创 2022-01-15 22:35:02 · 838 阅读 · 0 评论 -
深度学习中optimization的方法
结合网上的资料与李宏毅老师的课堂教学,总结一下optimization的方法。如果以对训练结果不满意,可以尝试用下述的方法,可以优先考虑方法1-4、方法6方法1:正则化(Regularization)正则化是防止神经网络overfitting的一种方法,由于模型的参数太多,所以就容易过拟合(可以想象一下决策树需要剪枝),其原理是在损失函数中增加一个惩罚项来限制过大的权重。通常有3种方法:L1正则化,L2正则化,dropoutL1正则化,江湖中也人称Lasso,表示各个参数绝对值之和:它之所以可以防止原创 2022-01-14 00:54:39 · 1043 阅读 · 0 评论