机器学习&深度学习笔记
文章平均质量分 57
机器学习&深度学习理论和代码笔记
computer_vision_chen
个人简介:计算机视觉研究生,富士康深圳总部师三级别软件工程师。热爱编程,中医。努力提高计算机视觉算法,C++开发,嵌入式,立志成为嵌入式人工智能应用工程师。
展开
-
机器学习,深度学习,计算机视觉博客目录
CeleA是香港中文大学的开放数据,包含10177个名人身份的202599张图片,并且都做好了特征标记,这个数据集对人脸相关的训练来说是非常好用的数据集。原创 2024-01-10 11:47:59 · 665 阅读 · 0 评论 -
pycharm如何使用jupyter
在pycharm终端启动一个conda虚拟环境,输入conda install jupyter原创 2024-07-05 21:19:11 · 694 阅读 · 0 评论 -
pycharm配置conda解释器和conda创建的虚拟环境解释器
假如我新建了一个conda虚拟环境,名为python3.8。原创 2024-07-03 17:08:06 · 366 阅读 · 0 评论 -
Pycharm远程连接GPU(内容:下载安装Pycharm、GPU租借、配置SSH、将代码同步到镜像、命令行操控远程镜像、配置远程GPU解释器)
上面的命令中 -p是端口的意思。点击apply 然后点击ok。使用服务器的解释器运行成功。envs里面放的是虚拟环境。选择一个点击立即租卡。原创 2024-07-03 13:25:24 · 1093 阅读 · 0 评论 -
anaconda命令大全
假如要创建一个基于Python3.8、名字为 yolo_env的虚拟环境。原创 2024-07-03 10:52:02 · 312 阅读 · 0 评论 -
torch.optim.SGD 和 torch.optim.Adam的区别?
Adam优化器和SGD(随机梯度下降)优化器是深度学习中常用的两种优化算法,它们在优化模型参数方面有一些区别。原创 2024-02-24 10:10:08 · 839 阅读 · 0 评论 -
WGAN损失函数解读
WGAN是Wasserstein GAN原创 2024-01-20 18:07:09 · 598 阅读 · 1 评论 -
MobileNet总结(待更新)
使得MobileNet在资源受限的设备上也能运行。随着研究的深入,MobileNet已经发展出了多个版本,如MobileNetV2,MobileNetV3等,这些版本在原有基础上做出了一些改进,以进一步提升性能。MobileNet是一种轻量级的深度学习网络架构,由谷歌研究团队于2017年发布。它特别适用于移动设备和嵌入式设备,因为其模型体积小,计算量少,但又能保持相对较高的准确率。MobileNet的核心是使用。原创 2023-12-04 20:32:11 · 389 阅读 · 0 评论 -
深度学习在训练时更新和保存最佳训练结果的方法(字典方法,本地保存方法,模型深拷贝方法)
copy模块可以用来创建一个对象的深拷贝。这意味着复制后的模型和原始模型是完全独立的,包括它们的参数。# 假设我们有一个模型实例nn.ReLU(),# 复制模型。原创 2023-12-04 18:22:27 · 1118 阅读 · 0 评论 -
深度学习数据集的划分代码解读(加载kaggle的dog数据,多gpu训练加载参数)待更新
取出一部分图片,这些图片属于训练的类。这部分数据集的图片属于的类,没有参与训练。原创 2023-12-03 18:07:56 · 561 阅读 · 0 评论 -
知识蒸馏测试,总结,项目代码(教师模型和学生模型分别是Resnet101和Resnet18,数据集ImageNet中的Dog Breed Identification数据集)
说明当学生网络和教师网络训练准确率相差不多时,要给hard_loss权重大一点。原创 2023-12-02 10:54:25 · 898 阅读 · 2 评论 -
本地下载预训练模型(涉及内容:Resnet等预训练模型地址,以resnet34为例下载预训练模型并移动到指定地址)
复制需要下载的模型地址,粘贴到浏览器地址栏中下载,各种模型的下载地址如下:原创 2023-12-01 18:32:18 · 2269 阅读 · 0 评论 -
深度学习训练模型时将每个epoch的结果输出到log文件中(涉及知识点loguru包的使用)
loguru是一个功能强大、简单易用的日志库,它提供了一种简单的方式来记录日志。原创 2023-12-01 11:25:56 · 896 阅读 · 0 评论 -
知识蒸馏代码实现(内容:知识蒸馏模型识别MNIST手写数字体,自定义MLP网络做为教师和学生网络,训练结果保存在log文件中,不同蒸馏损失计算方法得到的结果对比)
里面有12种最新的知识蒸馏算法。原创 2023-11-30 22:03:57 · 2116 阅读 · 0 评论 -
全网最细图解知识蒸馏(涉及知识点:知识蒸馏实现代码,知识蒸馏训练过程,推理过程,蒸馏温度,蒸馏损失函数)
hard targets的预测结果不科学,因为马和驴比马和汽车相似的多。所以驴和汽车都是0,没有表现出这个信息,所以要用soft targets.第二行和第三行是使用百分之3的训练样本并分别用hard target和soft target,结果显示。soft target使我们常用的概率版的标签值。比如输入下面的图片预测。教师网络预测出的soft target具有很多信息。此时学生网络已经训练好,把X输入到学生网络得到结果。学生网络的输入是教师网络的输出。【精读AI论文】知识蒸馏。最后对这两项加权求和。原创 2023-11-30 10:26:03 · 7613 阅读 · 2 评论 -
机器学习二元分类 & 二元交叉熵 & 二元分类例子
深度学习中的二元分类损失函数通常采用二元交叉熵(Binary Cross-Entropy)作为损失函数。其中,y是真实标签,y_pred是模型预测的概率。原创 2023-11-20 10:30:29 · 768 阅读 · 0 评论 -
线性回归预测波士顿房价 & loss为NAN原因 & 画散点图找特征与标签的关系
最后一列作为labels,把前面十三列的内容作为features# 直接让最后一列出栈,boston剩下前面13列# 制定线性回归模型# 定义损失函数# 定义优化函数'''小批量随机梯度下降'''原创 2023-11-13 10:51:35 · 492 阅读 · 0 评论 -
配置linux的anaconda3国内清华、阿里云镜像 & anaconda查看源和恢复默认默认源操作
配置linux的anaconda3国内清华、阿里云镜像。原创 2023-07-20 11:02:16 · 4578 阅读 · 0 评论 -
torch.stack() & torch.repeat() & torch.repeat_interleave() & torch转置 详解
【代码】torch.stack() & torch.repeat() & torch.repeat_interleave() & torch转置 详解。原创 2023-09-19 08:56:53 · 180 阅读 · 0 评论 -
深度学习中的python语法笔记总结
在PyTorch中,torch.clamp将张量中的元素限制在指定的范围内。torch.clamp(min=0)会将张量中的每个元素与0进行比较,并将小于0的元素替换为0。其他大于等于0的元素则保持不变。clamp函数原理。原创 2023-08-14 12:28:19 · 781 阅读 · 0 评论 -
Vision Transformer代码
【代码】Vision Transformer代码。原创 2023-09-07 16:47:27 · 204 阅读 · 0 评论 -
VIT中的einops包详解
’‘einops有三个常用方法:rearrange,repeat,reduce’‘’原创 2023-09-07 10:56:20 · 543 阅读 · 0 评论 -
VIT理论代码详解
把每个像素点按照顺序拿出来,作为token,这样做的话输入参数规模是:假如是1通道的灰度图: 224x224x1=50176,bert才512,是bert的100倍。原创 2023-09-07 01:34:07 · 849 阅读 · 0 评论 -
详解Transformer中的Encoder
多头注意力是一个模块,用于计算输入的注意力权重,并生成一个带有编码信息的输出向量,指示序列中每个词应该如何关注其它所有词。可将编码器堆叠n次,以进一步编码信息。其中每一层都有机会学习不同的注意力表示。从而有可能提高transformer网络的预测能力。VIT用了transformer的左半边。原创 2023-09-06 18:57:52 · 1243 阅读 · 0 评论 -
损失函数总结
均方误差(Mean Square Error,MSE)是回归损失函数中最常用的误差,它是预测值f(x)与目标值y之间差值平方和的均值,其公式如下所示:下图是均方误差值的曲线分布,其中最小值为预测值为目标值的位置。我们可以看到随着误差的增加损失函数增加的更为迅猛。优点:MSE的函数曲线光滑、连续,处处可导,便于使用梯度下降算法,是一种常用的损失函数。而且,随着误差的减小,梯度也在减小,这有利于收敛,即使使用固定的学习速率,也能较快的收敛到最小值。原创 2023-09-02 18:03:42 · 281 阅读 · 0 评论 -
GAN原理 & 代码解读
'''输入:正态分布随机数噪声(长度为100)输出:生成的图片,(1,28,28)中间过程:'''super(Generator,self).__init__() # super().__init__() 是调用父类的__init__函数# 最后一层用tanh激活,将数据压缩到-1到1img = img.view(-1,28,28,1) # 得到的是28*28=784,把它reshape为 (批量,h,w,channel)return img'''判别器输入:(1,28,28)的图片。原创 2023-08-25 10:53:10 · 1308 阅读 · 0 评论 -
详解python取按某个维度取最大值 & torch.max(X,dim=1),torch.mean(X,dim=1)
详解python取按某个维度取最大值 & torch.max(X,dim=1),torch.mean(X,dim=1)原创 2023-08-14 09:49:50 · 512 阅读 · 0 评论 -
可视化详解梯度下降
以最快的速度下山找水房子面积是x,房价是y,我们的任务就是如下图,找出一个最佳的w,使直线很好的拟合数据的分布。原创 2023-07-17 23:12:55 · 66 阅读 · 0 评论 -
详解逻辑回归
逻辑回归解决线性回归不能很好的划分二分类的问题。原创 2023-07-16 23:33:20 · 80 阅读 · 3 评论