从零手写Resnet50实战篇
文章平均质量分 88
董董灿是个攻城狮
阿里云社区专家博主,AI算法工程师
展开
-
通道洗牌的思想神了
通道洗牌是主要是为了去除分组卷积的副作用而来的。原创 2023-10-29 11:54:45 · 141 阅读 · 0 评论 -
分组卷积的思想神了
2012年的GPU不像现在的GPU内存那么大,当初GPU内存还很有限,一个channel通道数很大的卷积直接计算,放在整个网络中,是很耗费内存的。网上有很多关于分组卷积的资料。说的简单点,分组卷积是将卷积在channel 维度分组来计算,以达到将一个大卷积分成多个小卷积的目的。比如这个卷积的例子,可以将一个大卷积(指的是通道数很大),魔改为两个或多个小卷积,分别计算,计算完成后再将结果合并。而通过上面的魔改变换,便可以使得最终的结果和原始卷积计算一致,借用“分组卷积”的思想,可以很好的解决我遇到的问题。原创 2023-10-27 23:05:50 · 692 阅读 · 0 评论 -
了解下余弦相似度在文本处理中的应用
余弦相似度虽然可以方便快速的判断两个向量之间的关系,但是它也是有缺点的,那就是它并没有考虑向量的绝对大小,只关注方向,这一点在公式中也可以看出来。通过计算也可以得到相同的结论:“猫”和“狗”余弦相似度接近1,说明两个向量更为接近,而“鱼”和“跑”则接近-1,说明两个向量代表的单词相差很远。我们通过观察可以很轻松的看出来,“猫”和“狗”的两个向量很相近,“鱼”和“跑”代表的两个向量则相差很远。- 两个向量之间的夹角越小,余弦相似度值越接近于1,说明两个向量靠的越近,代表的两个单词就越相关。原创 2023-07-21 09:38:14 · 126 阅读 · 0 评论 -
5分钟搞懂矩阵乘法的本质
假设输入的数据是一张图片,那么图片中一个通道维度代表图片的一个特征,通过矩阵乘法对通道进行乘累加操作,便可以实现特征之间的整合和再创。我们知道矩阵乘法的规则是,左矩阵的第一行乘以右矩阵的第一列,得到第一个值,第一行乘以第二列得到第二个值,...,以此类推。卷积和全连接算法,或多或少都是一种矩阵乘法,将其转换为矩阵乘法之后,那么和权值矩阵对应的另一个矩阵,就是输入数据。矩阵乘法,通过相乘累加的操作,实际上是对资源(鸡尾酒的原料)的整合和再创(创造出了新的口味,如自由古巴)。原创 2023-05-13 17:05:55 · 1019 阅读 · 1 评论 -
全手写resnet50,分分钟识别“十二生肖“图片
子鼠,识别结果为 mink — 水貂,识别错误,扣一分。不过这个老鼠是不是有那么点像水貂?丑牛,识别为 ox - 公牛,识别正确!加一分。而且还是公牛,是根据上翘的尾巴做的区分吗?寅虎,识别为 tiger - 老虎,识别正确!加一分。这萌萌的老虎特征这么明显,要是识别错,那可以下班了。卯兔,识别为 hare - 野兔,识别正确!加一分。这站立的姿势,警觉地竖起的耳朵,野兔无疑了。辰龙,识别成 harp - 竖琴,识别错误,不减分。原创 2023-04-26 21:58:26 · 522 阅读 · 0 评论 -
我完全手写的Resnet50网络,终于把猫识别出来了
大家好啊,我是董董灿。经常看我文章的同学,可能知道最近我在做一个小项目——《不幸的是,在刚搭建完网络之后,就试着运行了一下自己的神经网络,。没办法,只能用 torch 搭了一个官方的网络,和我手写的神经网络,一层一层进行结果比对,然后调试(从零手写Resnet50实战——利用 torch 识别出了虎猫和萨摩耶)。幸运的是,在经过一个数据一个数据对比之后,我的神经网络。出猫了!它竟然真的将猫识别出来了!我的神经网络出猫现场。这个网络我没用 softmax。原创 2023-04-24 00:30:21 · 506 阅读 · 0 评论 -
从零手写Resnet50实战——利用 torch 识别出了虎猫和萨摩耶
大家好啊,我是董董灿。自从前几天手写了一个慢速卷积之后(从零手写Resnet50实战—手写龟速卷积),我便一口气将 Resnet50 中剩下的算法都写完了。然后,暴力的,按照 Resnet50 的结构,将手写的算法一层层地连接了起来。算法的手写和网络的搭建,没有调用任何第三方库,这也是这个项目的初衷。相关代码都已经上传至:项目根目录/python/inference.py,项目地址在文章末尾。原创 2023-04-21 08:59:16 · 428 阅读 · 0 评论 -
从零手写Resnet50实战—手写龟速卷积
大家好啊,我是董董灿。这是从零手写Resnet50实战的第篇文章。请跟着我的思路,一点点地手动搭建一个可以完成图片分类的神经网络,而且不依赖第三方库,完全自主可控的手写算法。如对网络中的算法和原理不太熟悉,请移步万字长文解析Resnet50的算法原理。原创 2023-04-14 23:28:09 · 172 阅读 · 0 评论 -
从零手写Resnet50实战篇——权值另存为
大家好啊,我是董董灿。这是《从零手写Resnet50实战》的第二篇文章。原创 2023-04-06 22:23:45 · 368 阅读 · 0 评论