0729
开始每天三小时学习
第一小时:我是土堆快速入门 p1-p12
structure看工具函数库
按住ctrl,把光标移到函数上边,看函数解释
ctrl + p 看函数的传参
笑死,PIL和narray的rgb通道排列顺序居然不一样
归一化
-
归一化(Normalization):通常指将数值特征缩放到一个特定的范围内,比如0到1之间或者-1到1之间。归一化有助于确保所有特征的尺度一致,避免某个特征因为数值较大而对模型训练产生过大影响。常用的归一化方法有最小-最大规范化(Min-Max Scaling)和Z-score标准化。
-
正则化(如L1、L2正则化):则是针对模型参数的一种约束,通过向损失函数添加一项额外的惩罚项,鼓励模型的权重变得更小,防止过度依赖某些特征。这种技术在统计学上被称为“惩罚”或“衰减”,常用于线性回归和神经网络中,帮助防止过拟合。
L1和L2正则化:基本原理是在损失函数里加一项,使得误差(第一项)和复杂度(第二项)达到妥协。
第二小时:跟李沐学AI
224*224
0730
开始每天三小时学习
第一小时:我是土堆快速入门 p13-p15
加深了对transform(compose), tensorboard(step)的理解,dataloader中的droplast
安装了录屏软件,明天开始录屏实战
0731
开始每天三小时学习
第一小时:我是土堆快速入门 p16 -18看三p
步入调试。nn.Conv2d 是一个类,而 nn.functional.conv2d是一个函数。学了reshape()用法,不知道的维度写-1。
录两章视频:录了四章,但问题是cpp,不知道能不能看懂
李沐学ai看个5p:只看了3p
想试下里边的风格迁移项目,搞不出来
搞懂了??git clone咋用
0801
开始每天三小时学习
第一小时:我是土堆快速入门 p18看5p。没看,明天补
风格迁移搞出来了,记得用3.7版本的python解释器,不然配置一直有问题。
GitHub - zhanghang1989/PyTorch-Multi-Style-Transfer: Neural Style and MSG-Net
搞懂配置了git!!!
下载安装配置git以及配置到pycharm等全流程_pycharm下载git-CSDN博客
【windows】Git中添加密钥、ssh密钥的创建与查看(打开id_rsa.pub文件)_windows查看ssh密码-CSDN博客
录两章视频:实战一章。失败暂时不搞了
k-means:非凸,初始化不同,结果也不同
参数:RGB和x. y(空间加权)
arg min(F):输出为:使目标函数F最小的变量值的值
交替迭代优化
李沐学ai看个5p:补上昨天8p。没看明天补。
0801
开始每天三小时学习
第一小时:我是土堆快速入门 p19-28p
VGG分为三部分:features、avgpool和classifier,即通过前面的卷积神经网络(不同的VGG类型,比如VGG-16和VGG-19对应的卷积神经网络结构不同)提取特征,通过自适应平均池化(nn.AdaptiveAvgPool2d)将特征图池化到固定尺寸7×7大小,然后将特征图展平为1维向量(torch.flatten(x, 1)),最后通过分类器,即三层全连接层输出对应类别数量维度的向量(这里默认是1000维,即在类的初始化中输入的num_classes: int = 1000)
https://www.cnblogs.com/yuhengz/p/17741167.html
所以才会出现backbone概念,即提取特征的骨架网络可以随便替换缝合
十分钟带你搞定深度学习模型拼接,更换backbone、缝合模块(添加注意力机制),从小白角度讲解拼接思路_哔哩哔哩_bilibili
搞明白了 if __name__ == "__main__" 有啥用
if __name__ == "__main__":
是Python编程中的一个常见语法结构,它主要用于检查脚本是否直接运行而不是被导入作为模块。当这个条件成立(即,当前文件就是主程序,而非作为其他程序的一部分被导入),那么位于这一行之后的代码将会被执行。
例如,在Python脚本中,如果包含了函数定义,我们可能会看到这样的结构,目的是为了防止那些函数在被导入时就自动执行。当你想要测试或运行整个脚本时,if __name__ == "__main__"
下的代码会被运行,比如设置入口点、初始化变量或启动一个循环等。
这样做的好处是可以避免一些不必要的初始化或副作用,使得模块可以被其他地方安全地导入,并且只在该模块作为独立程序运行时才会执行特定的初始化流程。
argmax():0代表纵向看,1代表横向看
0802
开始每天三小时学习
第一小时:我是土堆快速入门 p29-34p
在gpu上跑要改三个地方,其中数据要在执行文件里边改
微调
TorchVision Object Detection Finetuning Tutorial — PyTorch Tutorials 2.4.0+cu121 documentation
量化
Quantization — PyTorch 2.4 documentation
剪枝
Pruning Tutorial — PyTorch Tutorials 2.4.0+cu121 documentation