- 博客(26)
- 收藏
- 关注
RSS订阅原创 DPN网络
此外，DPN使用了分组卷积来降低计算量，并且可以在不改变原有网络结构的前提下，提升性能，使其适合用于检测和分割任务作为新的。可以看到DPN的网络结构和ResNeXt的网络结构很类似。最开始是一个7×7卷积层，接着就是一个最大池化层，再然后是四个。DPN就是在ResNeXt和DenseNet的基础上，融合这两个网络的核心思想而成，论文原文见附录。这种结构的目的是通过不同的路径来利用神经网络的不同特性，从而提高模型的效率和性能。具体是怎么变化的了，接下来我们就一起来理解一下。整体结构是这样，重点就在每个。
2024-03-08 10:44:32
879
原创 for循环展开浅析
循环展开是一种非常重要的优化方法，也是编译器后端中常用的一种优化方式，它可以通过减少热点路径上的“无用指令”以及分支指令的个数，来更好地发挥CPU指令流水线的指令并行执行能力，从而提高程序整体性能。
2024-01-20 11:50:55
1303
原创 CUDA编程：执行模型
在SM中，共享内存和寄存器是非常重要的资源。共享内存被分配在SM上的常驻线程块中，寄存器在线程中被分配。线程块中的线程通过这些资源可以进行相互的合作和通信。
2024-01-09 18:14:13
395
原创 认识CUDA
CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA™架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。如果这是你第一次使用CUDA，在Linux系统中，你可能想使用以下命令来检查CUDAnvcc查看GPU状态。
2024-01-04 17:45:46
822
原创 CUDA编程：从hello world开始
开发人员可以使用C语言来为CUDA™架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。关于cudaDeviceReset();这句话如果没有，则不能正常的运行，因为这句话包含了隐式同步，GPU和CPU执行程序是异步的，核函数调用后成立刻会到主机线程继续，而不管GPU端核函数是否执行完毕，所以上面的程序就是GPU刚开始执行，CPU已经退出程序了，所以我们要等GPU执行完了，再退出主机线程。如果这是你第一次使用CUDA，在Linux系统中，你可能想使用以下命令来检查CUDA。
2024-01-03 22:00:06
845
1
原创 Vision Transformer原理
多头自注意力时，先将输入映射到q，k，v，如果只有一个头，qkv的维度都是197x768，如果有12个头（768/12=64），则qkv的维度是197x64，一共有12组qkv，最后再将12组qkv的输出拼接起来，输出维度是197x768，然后在过一层LN，维度依然是。最后会将特殊字符cls对应的输出z0 作为encoder的最终输出 ，代表最终的image presentation（另一种做法是不加cls字符，对所有的tokens的输出做一个平均），如下图公式(4)，后面接一个MLP进行图片分类。
2024-01-03 15:36:19
2136
1
原创 深度神经网络中的混合精度训练
深度神经网络 （DNN） 在许多领域取得了突破，包括图像处理和理解、语言建模、语言翻译、语音处理、游戏等。为了实现这些结果，DNN 的复杂性一直在增加，这反过来又增加了训练这些所需的计算资源。混合精度训练通过使用较低精度的算术来降低所需的资源，这具有以下优点。图 1.大型英语语言模型的训练曲线显示了本文中描述的混合精度训练技术的好处。Y 轴是训练损失。不带损耗缩放的混合精度（灰色）在一段时间后会发散，而带损耗缩放的混合精度（绿色）与单精度模型（黑色）匹配。
2024-01-03 14:58:55
2291
1
原创 Pytorch 实现深度学习
深度学习成功背后的一个因素是神经网络的灵活性：我们可以用创造性的方式组合不同的层，从而设计出适用于各种任务的架构。例如，研究人员发明了专门用于处理图像、文本、序列数据和执行动态规划的层。有时我们会遇到或要自己发明一个现在在深度学习框架中还不存在的层。在这些情况下，必须构建自定义层。本节将展示如何构建自定义层。
2023-12-08 17:09:43
418
原创 使用Pandas 进行数据分析
Pandas是一个开源的Python库，主要用于数据分析、数据处理、数据可视化。Pandas作为Python数据分析的核心包，提供了大量的数据分析函数，包括数据处理、数据抽取、数据集成、数据计算等基本的数据分析手段。
2023-12-07 17:40:01
995
1
原创 吴恩达-Deeplearning深度学习笔记
课程概述这些课程专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业最热门的技能之一，本课程将帮你掌握深度学习。”在这 5 堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。Deep Learning Specialization 对卷积神经网络 (CNN)、递归神经网络 (RNN)、长短期记忆 (LSTM) 等深度学
2023-11-25 21:29:44
330
原创 图神经网络库介绍
图神经网络库介绍图神经网络库介绍Deep Graph Library（DGL）PyTorch Geometric（PyG）tf_geometricAnt Graph machine Learning system（AGL）图神经网络库介绍Deep Graph Library（DGL）由New York University（NYU）和Amazon Web Services（AWS）联合推出的图神经网络框架。创立之初，本着避免重复造轮子的原则，DGL基于主流框架进行开发，即框架上的框架。目前，DGL已经
2021-12-13 19:15:43
3263
原创 剩余寿命预测的标签设置
寿命预测的标签设置1. Piece-wise linear分段线性函数RUL标签2. 寿命百分比RUL标签3. 提取健康指标构造RUL标签一般寿命预测任务中(Remaining Useful Life,RUL)标签需要自己设计，因此本文总结了几种常用的标签设置方法。1. Piece-wise linear分段线性函数RUL标签比如对于CMAPSS涡扇发动机数据集来说，我们知道其中某一台涡扇发动机全寿命周期为192，也就是说该涡扇发动机运行192个周期后失效。因此设计它的RUL标签为[192,191,1
2021-06-28 10:32:41
5258
5
原创 注意力机制--CBAM的研究
注意力机制–CBAM的研究文章目录注意力机制--CBAM的研究前言一、CBAM: Convolutional Block Attention Module二、注意力相关的Pytorch代码代码来自于网上，不是本人写的 [注意力代码的GitHub链接](https://github.com/xmu-xiaoma666/External-Attention-pytorch)前言最近研究了下注意力机制一、CBAM: Convolutional Block Attention ModuleCBAM
2021-06-26 09:45:07
4052
4
原创 如何修改Jupyter Notebook 或者Jupyter Lab的默认启动目录？
如何修改Jupyter Notebook 或者Jupyter Lab的默认启动目录？打开Anaconda在命令行中输入：conda activate env(你自己的环境名称）jupyter Lab ：在命令行中输入：jupyter-lab --generate-config（jupyter notebook 的命令类似为：jupyter notebook --generate-config）jupyter Lab ：在用户目录(C:\Users\xx.jupyter)下生成一个名字jupyt
2021-06-24 17:33:49
670
1
原创 A Deep Learning-Based Remaining Useful Life Prediction Approach for Bearings 基于深度学习的轴承剩余寿命预测
A Deep Learning-Based Remaining Useful Life Prediction Approach for Bearings 基于深度学习的轴承剩余寿命预测目录A Deep Learning-Based Remaining Useful Life Prediction Approach for Bearings 基于深度学习的轴承剩余寿命预测前言研究问题摘要本文方法介绍本文方法步骤本文贡献CNN前言A Deep Learning-Based Remaining Useful
2021-01-11 16:59:53
4555
5
原创 常用的科研工具
常用科研工具论文写作软件绘图软件Markdown软件参考文献软件常用网站思维导图公式编辑器软件卸载工具截图软件论文写作软件office办公软件wordvisio绘图软件originMarkdown软件Typora参考文献软件endnotenoteexpress常用网站搜索导航：文献小镇下载各种外文期刊：sci-hub搜索SCI文献：web of science搜索导航：虫部落IEEE：IEEE查询期刊影响因子Letpubx-mol艾斯维尔投稿推荐英文论文降重思维导图
2021-01-09 17:27:07
259
原创 Deep Residual Shrinkage Networks for Fault Diagnosis论文
2020年 发表在Transactions on Industrial Informatics上的论文
2020-12-24 17:47:21
3631
7
原创 MATLAB + LibSvm安装教程
MATLAB +LibSvm安装教程本人电脑环境，win7 64位，MATLAB2015A需要的libsvm文件：https://pan.baidu.com/s/1etSa88TUVpr1XxaEjDsbRg此文件并不是台湾大学的版本，而是修改过的版本faruto。并且不需要编译！！！并且不需要编译！！！并且不需要编译！！！（相信很多人都在编译中遇到过各种各样的问题，哈哈哈哈）1....
2019-08-04 14:00:56
600
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人