- 博客(23)
- 收藏
- 关注
RSS订阅原创 小鹅通运维实习生 --一面面经
2.接触过的python软件开发相关的东西（flask django）6.nginx-kafka项目 ip解析是如何做的。PS（仅针对个人复盘使用，如有侵权联系删除）3.linux模型跑爆了怎么排查，用什么命令。4.如何加快模型训练。5.如何提升模型精度。
2024-04-15 12:56:35
132
原创 GAN笔记
对抗样本的区别：不是对于模型的而是对于输入处理的 噪声 — 》生成器 —-〉假图 —》判别器 —〉输出值越大越好 生成器和判别器同时训练会产生模式崩溃：不管输入什么噪声都会生成一摸一样的图片 ，这种情况不能调参 间接训练方式直接阻隔了过拟合 输入噪声渐变，生成图像也是渐变。当生成器固定住的情况下 最优解最优判别器：pg：是生成器的家图像服从的概率分布 pdata（x）原始数据的概率分布。D：训练G 获得最小的 log（1 - D（G（z））），训练一个G 让辨别器犯错。D是完美的情况下都是等于0的。
2023-05-11 11:09:47
146
1
原创 多GPU分布式训练笔记
加载torch.load(file.pt,map_location = torch.divice("cuda"/"cuda:0"/"cpu") --->当有多个gpu时可以指定在哪个GPU上运行。检测电脑GPU的个数：torch.cuda.device_count() 可以通过命令行来限制显卡的使用个数 CUDA_VIDSIBLE_DEVICES=“”也可以调用库函数：os.environ["CUDA_VIDSIBLE_DEVICES"]="0" 表示只在0号GPU跑。
2023-04-19 17:45:56
212
原创 （李沐DL）数值优化
准确率在50%左右权重参数有大问题不是单单能调整lr能解决的。目标是让梯度值在合理的范围内 【1e-6，1e3】#kaiming初始化也是一个初始化方法。梯度值变成0 对于16为浮点数尤为严重。权重初始化，在合理值区间里随机初始参数。#xavier 是常用权重的初始化方法。对于底部尤为严重仅仅顶部训练的较好。学习率太大 大参数值 更多的梯度。数值过大或者过小都会导致数值问题。梯度爆炸：梯度都是比一大的数。向量对于向量的导数都是矩阵。合理的权重初始和激活函数。梯度消失：梯度小于一时。nan一般是梯度爆炸。
2023-04-18 20:14:19
79
原创 数据增强有哪些方法
samplepairing：随机抽取两张图片分别经过基础数据增强操作（如随机反转）处理后，直接叠加合成一个新的样本，标签为原样本标签中的一种。数据增强也叫做数据扩增，数据增广，意思是在不实质增加数据的情况下，从有限的数据产生更多变种，让有限的数据产生等驾驭更多的数据价值。aotoaugment框架：学习已有的数据增强的组合，不同的任务，需要不同的数据增强操作 有16个数据操作。采用固定的预设规则进行数据扩增，包括单样本数据增强和多样本数据增强。从零生成性的数据（无中生有）： 生成对抗网络，生成新的数据。
2023-04-17 14:58:11
1659
1
原创 注意力机制笔记
在实践中经常使用多个并行的自注意力机制，成为多头注意力（multihead，Atention），即使用多个注意力矩阵和多个权重对输入值进行加权平均，随后对加权平均的结果进行拼接。自注意力机制的计算设计序列中某一个输入相对于其他所有输入之间的联系。相当于对原文做了权重输出： 通过编码器的输出和下一步的输入中引入上下文的信息，最后达到让解码器的某一个特定的解码和编码器的一些输出关联起来，即对其效应。计算编码器的输出对解码器贡献的权重，最后计算加权平均后编码器的输出，即上下文（context）
2023-04-03 13:15:15
99
原创 resnet预训练模型以及微调
只有分类器训练好了（就是Linear层），才能微调卷积基，不然刚开始训练误差很大，微调之前的卷积层学到的东西会被破坏。共同训练新添加的分类器和部分或者全部卷积层，这允许我们微调基础模型中的高阶特征表示，一是他们与特定任务相关。#训练函数fit 必须要指定 model.train，model.eval Resnet中有BN层。4. 解冻卷积基的一部分也可以解冻全部（一般解冻靠近输出部分的卷积基）"""使用Resnet模型预训练模型+微调"""#微调的时候学习速率要更小一些。#替换掉了全链接层 是可训练。
2023-04-02 16:25:39
2290
原创 自定义输入dataset
all_imgs_path = glob.glob(r'./dataset/4weather/dataset2/*.jpg') #返回的事一个列表。#必须继承，必须创建__getitem__方法,（实现它才可以实现切片）__len__方法。#glob可以获取一定条件下所有路径。"""自定义输入dataset类。自己数据集第二种处理方式"""#初始化要传入一个路径。
2023-04-02 16:24:23
73
原创 dropout和BN
2. 减少两个神经元之间复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现（随机森林）#批标准化：不仅在讲数据输入模型之前对数据做标准化，在网络的每一次变换之后都应该考虑数据标准化。关于nn.module里面内置的dropout 有三种方法：dropout，dropout。5. 输出y 通过Y，B的线性变换得到原来的数值，在训练的正向传播中不会改变当前输出。一般是将数据映射到指定范围，用于除去不同维度的数据的量纲以及量纲单位。2. 求每一个训练批次的数据方差。
2023-04-01 17:15:12
89
原创 pytorch基础部分笔记
优化函数：optimizer SGD 和min_batch 抽取m个小批量的样本，通过计算他们的平均梯度值。多分类问题： CrossENtropyLoss 输出层激活方式：无 ，二分类的问题也可以看成特殊的多分类问题。反向传播算法：梯度是反向传播的，每一层的导数都是后一层导数与前一层输出之积，这正是链式法则。使用torch.utils.data.dataLoader封装，实际就是一个生成器。RMSprop：有效且使用的深度学习算法，会读kr进行衰减。梯度下降，学习速率是缩放梯度下降的尺标，是参数优化方法。
2023-03-28 17:08:31
36
原创 构建一个简单多分类模型
softmax将输出C个可能的概率值，np.argmax()会返回取值最大的索引。torch.argmax()也是一样的效果。self.linear3 = nn.Linear(84,10) #输出是10类所以是10。loss_fn = torch.nn.CrossEntropyLoss() #要求的输入是logits。#nn.Linear() 全链接层 要求输入的数据都是一维的 (batch,features)imgs,lables = next(iter(train_dl)) #这里是一个迭代器。
2023-03-28 17:02:58
158
原创 Mysql修改初始密码出现ERROR 1045 Acess denied for user...
经过我仔细观察，我发现在-p 接初始密码是最好是打‘ ’ 初始密码字符很复杂会包含特殊字符 所以将初始密码用引号引起来就行啦。
2022-08-12 10:17:47
363
原创 关于SSH服务｜两台机器之间建立免密通道
例如：ssh root@172.16.8.180是在自己的机器上远程连接，以root的身份登录（centos里面默认root都是可以登录的
2022-08-06 20:30:57
1022
原创 centos开机启动流程
开机->post开机自检->BIOS对硬件进行检测->boot启动顺序检查->硬盘->MBR->grub2引导程序->文件系统驱动->内核文件vmlinuz/intramfs->systemd进程->启动对应的运行级别的服务->登录->检查用户信息是否正确->运行家目录下的环境变量文件。.........
2022-08-03 19:18:49
644
原创 python装饰器与闭包---装饰器
装饰器是一种设计模式，它的本质就是闭包，需要传入一个callable对象--（callable对象就是可调用对象函数或者类）
2022-07-30 20:15:14
198
1
空空如也
有没有近期可以投的ccf c会议啊
2023-10-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人