深度学习
文章平均质量分 93
澪mio
我不是二刺猿
展开
-
Deep Learning Debug记录
debug原创 2023-08-31 17:34:07 · 384 阅读 · 0 评论 -
YOLOV8改进:如何增加注意力模块?(以CBAM模块为例)
因为毕设用到了YOLO,鉴于最近V8刚出,因此考虑将注意力机制加入到v8中。添加注意力模块只需要3步1、在对应的modules.py中添加需要的模块2、在task.py中引入modules.py中的模块,并进行适当的参数匹配3、修改对应的models文件夹中的yaml文件,并注意层数问题。之后就可以进行正常训练了。原创 2023-03-22 17:43:27 · 15742 阅读 · 39 评论 -
深度学习入门(六十七)循环神经网络——注意力机制
循环神经网络——注意力机制课件心理学注意力机制注意力机制是显式地考虑随意线索非参注意力池化层Nadaraya-Watson 核回归:总结教材(注意力提示)1 生物学中的注意力提示2 查询、键和值3 注意力的可视化4 小结教材(注意力汇聚:Nadaraya-Watson 核回归)1 生成数据集2 平均汇聚3 非参数注意力汇聚4 带参数注意力汇聚4.1 批量矩阵乘法4.2 定义模型4.3 训练5 小结原创 2023-02-23 13:05:57 · 1447 阅读 · 0 评论 -
深度学习入门(六十六)循环神经网络——束搜索
课件贪心搜索穷举搜索束搜索总结教材1 贪心搜索2 穷举搜索3 束搜索4 小结原创 2022-12-29 17:47:59 · 712 阅读 · 0 评论 -
深度学习入门(六十五)循环神经网络——序列到序列学习(seq2seq)
课件机器翻译seq2seq编码器-解码器细节训练衡量生成序列的好坏的BLEU总结教材1 编码器2 解码器3 损失函数4 训练5 预测6 预测序列的评估7 小结原创 2022-12-21 00:18:12 · 637 阅读 · 0 评论 -
深度学习入门(六十四)循环神经网络——编码器-解码器架构
课件重新考察CNN重新考察RNN编码器-解码器架构总结教材1 编码器2 解码器3 合并编码器和解码器4 训练模型5 小结参考文献原创 2022-12-20 23:49:25 · 7206 阅读 · 0 评论 -
深度学习入门(六十三)循环神经网络——机器翻译数据集
教材1 下载和预处理数据集2 词元化3 词表4 加载数据集5 训练模型6 小结原创 2022-12-20 18:08:13 · 332 阅读 · 0 评论 -
深度学习入门(六十二)循环神经网络——双向循环神经网络
课件未来很重要双向RNN推理总结教材1 隐马尔可夫模型中的动态规划2 双向模型2.1 定义2.2 模型的计算代价及其应用3 双向循环神经网络的错误应用4 小结原创 2022-12-19 19:51:36 · 818 阅读 · 0 评论 -
深度学习入门(六十二)循环神经网络——深度循环神经网络
课件回顾:循环神经网络PLANA:Nonlinearity in the units更深总结课件1 函数依赖关系2 简洁实现3 训练与预测4 小结原创 2022-12-19 19:35:25 · 234 阅读 · 0 评论 -
深度学习入门(六十一)循环神经网络——长短期记忆网络LSTM
课件长短期记忆网络门候选记忆单元记忆单元隐状态总结教材1 门控记忆元1.1 输入门、忘记门和输出门1.2 候选记忆元1.3 记忆元1.4 隐状态2 从零开始实现2.1 初始化模型参数2.2 定义模型2.3 训练和预测3 简洁实现4 小结参考文献原创 2022-12-19 19:24:46 · 699 阅读 · 1 评论 -
深度学习入门(六十)循环神经网络——门控循环单元GRU
课件关注一个序列门候选隐状态隐状态总结教材1 门控隐状态1.1 重置门和更新门1.2 候选隐状态1.4 隐状态2 从零开始实现2.1 初始化模型参数2.2 定义模型2.3 训练与预测3 简洁实现4 小结参考文献原创 2022-12-19 19:06:11 · 1381 阅读 · 0 评论 -
深度学习入门(五十九)循环神经网络——通过时间反向传播
1 循环神经网络的梯度分析1.1 完全计算1.2 截断时间步1.3 随机截断1.4 比较策略2 通过时间反向传播的细节3 小结原创 2022-12-11 16:20:24 · 821 阅读 · 0 评论 -
深度学习入门(五十八)循环神经网络——循环神经网络简洁实现
1 定义模型2 训练与预测3 小结原创 2022-12-11 15:47:38 · 362 阅读 · 2 评论 -
深度学习入门(五十七)循环神经网络——循环神经网络从零开始实现
1 独热编码(one-hot)2 初始化模型参数3 循环神经网络模型4 预测5 梯度裁剪6 训练7 小结原创 2022-11-28 16:14:42 · 880 阅读 · 0 评论 -
深度学习入门(五十六)循环神经网络——循环神经网络RNN
课件潜变量自回归模型循环神经网络使用循环神经网络的语言模型困惑度(perplexity)梯度裁剪更多的应用RNNs总结教材1 无隐状态的神经网络2 有隐状态的循环神经网络3 基于循环神经网络的字符级语言模型4 困惑度(Perplexity)5 小结原创 2022-11-27 20:03:57 · 1121 阅读 · 0 评论 -
深度学习入门(五十五)循环神经网络——语言模型和数据集
课件语言模型使用计数来建模N元语法总结教材1 学习语言模型2 马尔可夫模型与n元语法3 自然语言统计4 读取长序列数据4.1 随机采样4.2 顺序分区5 小结原创 2022-11-27 19:33:15 · 195 阅读 · 0 评论 -
深度学习入门(五十四)循环神经网络——文本预处理
教材1 读取数据集2 词元化3 词表4 整合所有功能5 小结原创 2022-11-26 15:34:25 · 994 阅读 · 0 评论 -
深度学习入门(五十三)循环神经网络——序列模型
课件序列数据序列数据:更多例子统计工具序列模型方案A-马尔科夫假设方案B-潜变量模型总结教材1 统计工具1.1 自回归模型1.2 马尔可夫模型1.3 因果关系2 训练3 预测4 小结原创 2022-11-26 15:14:42 · 621 阅读 · 1 评论 -
深度学习入门(五十二)计算机视觉——风格迁移
课件样式迁移易于CNN的样式迁移教材1 方法2 阅读内容和风格图像3 预处理和后处理4 抽取图像特征5 定义损失函数5.1 内容损失5.2 风格损失5.3 全变分损失5.4 损失函数6 初始化合成图像7 训练模型8 小结参考文献原创 2022-11-25 21:40:21 · 3138 阅读 · 0 评论 -
深度学习入门(五十一)计算机视觉——全卷积网络
课件FCN教材1 构造模型2 初始化转置卷积层3 读取数据集4 训练5 预测6 小结原创 2022-11-25 20:13:53 · 315 阅读 · 0 评论 -
深度学习入门(五十)计算机视觉——转置卷积
课件1 转置卷积2 为什么称之为“转置”教材1 基本操作2 填充、步幅和多通道3 与矩阵变换的联系4 小结原创 2022-11-25 11:29:00 · 1575 阅读 · 0 评论 -
深度学习入门(四十九)计算机视觉——语义分割和数据集
教材1 语义分割2 应用:背景虚化3 应用:路面分割4 语义分割VS实例分割教材1 图像分割和实例分割2 Pascal VOC2012 语义分割数据集2.1 预处理数据2.2 自定义语义分割数据集类2.3 读取数据集2.4 整合所有组件3 小结原创 2022-11-25 10:10:27 · 504 阅读 · 0 评论 -
深度学习入门(四十八)计算机视觉——SSD实现
1 模型1.1 类别预测层1.2 边界框预测层1.3 连结多尺度的预测1.4 高和宽减半块1.5 基本网络块1.6 完整的模型2 训练模型2.1 读取数据集和初始化2.2 定义损失函数和评价函数2.3 训练模型3 预测目标4 小结原创 2022-11-23 15:25:46 · 380 阅读 · 0 评论 -
深度学习入门(四十七)计算机视觉——SSD和YOLO简介
课件(单发多框检测SSD)生成锚框SSD模型效果总结课件(YOLO)YOLO(你只看一次)效果原创 2022-11-22 15:20:56 · 782 阅读 · 0 评论 -
深度学习入门(四十六)计算机视觉——区域卷积神经网络(R-CNN)系列
课件R-CNN兴趣区域(RoI)池化层Faster R-CNNFaster R-CNNMask R-CNN精度和速度比较总结教材1 R-CNN2 Fast R-CNN3 Faster R-CNN4 Mask R-CNN小结参考文献原创 2022-11-22 15:14:17 · 912 阅读 · 0 评论 -
深度学习入门(四十五)计算机视觉——目标检测数据集
1 下载数据集2 读取数据集3 演示4 小结原创 2022-11-22 11:26:37 · 521 阅读 · 0 评论 -
深度学习入门(四十四)计算机视觉——多尺度目标检测
教材1 多尺度锚框2 多尺度检测3 小结原创 2022-11-22 11:20:16 · 681 阅读 · 0 评论 -
深度学习入门(四十三)计算机视觉——锚框
课件锚框IoU交并比赋予锚框符号使用非极大值抑制(NMS)输出总结教材1 生成多个锚框2 交并比(IoU)3 在训练数据中标注锚框3.1 将真实边界框分配给锚框3.2 标记类别和偏移量3.3 一个例子4 使用非极大值抑制预测边界框5 小结原创 2022-11-18 19:33:17 · 1644 阅读 · 0 评论 -
深度学习入门(四十二)计算机视觉——目标检测和边界框
课件图片分类和目标检测边缘框目标检测数据集总结教材1 边界框2 小结原创 2022-11-18 18:54:06 · 1017 阅读 · 0 评论 -
深度学习入门(四十一)计算机视觉——微调
课件标注一个数据集很贵网络架构微调微调中的权重初始化训练重用分类器权重固定一些层总结教材1 步骤2 热狗识别2.1 获取数据集2.2 定义和初始化模型2.3 微调模型3 小结原创 2022-11-18 18:30:55 · 774 阅读 · 1 评论 -
深度学习入门(四十)计算机视觉——图像增强
计算机视觉——图像增强课件图像增强使用增强数据训练翻转切割颜色总结教材1 常用的图像增广方法1.1 翻转和裁剪1.2 改变颜色1.3 结合多种图像增广方法2 使用图像增广进行训练2.1 多GPU训练2.2 单GPU训练3 小结原创 2022-11-18 11:41:26 · 1737 阅读 · 0 评论 -
深度学习入门(三十九)计算性能——分布式训练、参数服务器(TBC)
课件(分布式训练)分布式计算GPU机器架构计算一个小批量同步SGD性能性能的权衡实践的建议总结教材(参数服务器)1 数据并行训练2 环同步(Ring Synchronization)3 多机训练4 键值存储5 小结原创 2022-11-17 19:16:04 · 478 阅读 · 0 评论 -
深度学习入门(三十八)计算性能——多GPU训练
课件多GPU并行数据并行VS模型并行数据并行总结教材1 问题拆分2 数据并行性3 简单网络4 数据同步5 数据分发6 训练7 小结多GPU的简洁实现1简单网络2 网络初始化3 训练4 小结原创 2022-11-17 19:15:36 · 2970 阅读 · 0 评论 -
深度学习入门(三十七)计算性能——硬件(TBC)
课件电脑提升CPU利用率①提升CPU利用率②CPU VS GPU提升GPU利用率CPU/GPU带宽更多的CPU和GPUCPU/GPU高性能计算编程总结教材1 计算机2 内存3 存储器3.1 硬盘驱动器3.2 固态驱动器3.3 云存储4 CPU4.1 微体系结构4.2 矢量化4.3 缓冲5 GPU和其他加速卡6 网络和总线7 小结原创 2022-11-15 21:23:05 · 859 阅读 · 0 评论 -
深度学习入门(三十六)计算性能——异步计算、自动并行
教材1 异步计算1.1 通过后端异步处理1.2 小结2 自动并行2.1 基于GPU的并行计算2.2 并行计算与通信3.3 小结原创 2022-11-15 20:55:29 · 842 阅读 · 0 评论 -
深度学习入门(三十五)计算性能——编译器和解释器
教材1 符号式编程2 混合式编程3 Sequential的混合式编程3.1 通过混合式编程加速3.2 序列化4 小结原创 2022-11-15 20:55:09 · 476 阅读 · 0 评论 -
深度学习入门(三十四)卷积神经网络——DenseNet
教材1 从ResNet到DenseNet2 稠密块体3 过渡层4 DenseNet模型5 训练模型6 小结参考文献原创 2022-11-14 18:46:01 · 1108 阅读 · 0 评论 -
深度学习入门(三十三)卷积神经网络——ResNet
课件加更多的层总是改进精度吗?残差块ResNet块细节不同的残差块ResNet块ResNet架构总结教材1 函数类2 残差块3 ResNet模型4 训练模型5 小结原创 2022-11-14 11:43:33 · 1994 阅读 · 3 评论 -
深度学习入门(三十二)卷积神经网络——BN批量归一化
课件批量归一化批量归一化层批量归一化在做什么?总结教材1 训练深层网络2 批量规范化层2.1 全连接层2.2 卷积层2.3 预测过程中的批量规范化3 从零实现4 使用批量规范化层的 LeNet5 简洁实现6 争议7 小结原创 2022-11-14 10:23:16 · 1720 阅读 · 0 评论 -
深度学习入门(三十一)卷积神经网络——GoogLeNet
最好的卷积层超参数?Inception:全都要Inception块GoogLeNet段1$2段3段4&5Inception各种变种Inception-V3,段3Inception-V3,段4Inception-V3,段5总结教材1 Inception块2 GoogLeNet模型3 训练模型4 小结原创 2022-11-14 09:46:14 · 2552 阅读 · 1 评论