关于深度学习的 smart power
文章平均质量分 71
关于深度学习的一些point
听风吹等浪起
佛系学习,适当摆烂…
展开
-
网络优化策略:根据epoch自适应比例学习率衰减
自适应学习率衰减原创 2024-02-28 18:40:43 · 313 阅读 · 0 评论 -
网络优化策略:cos 学习率衰减
cos 学习率衰减原创 2024-02-28 18:22:29 · 292 阅读 · 0 评论 -
怎么计算数据的均值和方差
均值和方差计算就是简单利用数学方法计算这里需要注意的是,有些数据集是单通道的,这样代码计算3通道就会报错。所以这里用PIL和opencv 将图像转换传入数据的时候,只需要传入父目录即可,demo脚本和data在同一路径下。原创 2024-01-23 16:55:04 · 567 阅读 · 0 评论 -
pytorch模型转ONNX
pytorch 转 ONNX 格式原创 2023-05-16 17:03:05 · 990 阅读 · 0 评论 -
遗传算法求取函数最值问题
因为产生的二进制序列一般来说不是一个,这样是为了下面更好的交叉操作。并且,多个二进制序列也有利于找到最优的解。原创 2023-04-24 15:36:29 · 5026 阅读 · 3 评论 -
关于神经网络的权重信息和特征图的可视化
对神经网络隐藏层的可视化,以及参数权重的可视化原创 2023-04-04 22:48:27 · 3492 阅读 · 0 评论 -
聊聊神经网络结构以及计算量和内存使用
最近在看轻量级网络的paper,因此来简单聊聊神经网络计算量和使用内存的情况这里只计算两个参数FLOPs 和 MACFLOPs是神经网络执行一次前向传播的计算量,也就是乘法-加法浮点运算次数MAC :memory access cost ,网络参数的内存消耗FLOPS,最后一个大写S代表的是硬件每秒的浮点运算次数一般来说,对卷积的计算方式如下:具体的计算再后面讲解。原创 2023-04-02 14:46:36 · 1354 阅读 · 4 评论 -
关于迁移学习的方法
迁移学习的具体实现原创 2023-03-29 12:20:01 · 2882 阅读 · 0 评论 -
聊聊关于矩阵反向传播的梯度计算
本章采用的是 W * X = Y 的方式计算。因为资料或者书籍上面有时候矩阵乘法的顺序会不一样,有的还会加上转置等等。其实这些都是为了满足矩阵乘法规则为了不会混乱,可以这样记忆。可以不用考虑乘法的顺序或者有无转置A * B = C 的矩阵乘法计算谁的时候,就用反向传递的值替换掉谁,然后将另一个元素转置。顺序不变例如:计算W梯度的时候,用反向传递的值替换掉W,变成 y * X(这里y是反向传递的值,本章y = 2 Y)然后另一个元素转置,变成y * X(转置)原创 2023-02-02 14:35:14 · 1160 阅读 · 0 评论 -
如何计算神经网络参数的个数?
神经网络随着层数的加深,网络参数的个数会越来越多,小的网络有成千上万个参数,大的可以达到千万个网络参数。这里我们介绍一下如何计算神经网络参数的个数图像分类的神经网络,包含两个部分:特征提取层+ 分类层特征提取层就是将提取图像中的特征,这里的特征就是图像的细节,例如边缘、关键点等等。类似于人在识别物体的时候,往往不需要看清物体具体长什么样子,只需要观察大概的轮廓就知道这个物体是人还是树。那么这里人的轮廓或者树的轮廓就是特征,而我们是不需要知道这个人长得怎么样的。原创 2022-11-28 18:55:15 · 6056 阅读 · 1 评论