深度学习
文章平均质量分 72
深度学习个人笔记
MallocLu
生命不息,搬砖不止
展开
-
huggingface使用与环境移植
直接运行测试程序,将自动下载相关模型(上例中为“bert-base-uncased”)原创 2023-12-16 16:46:31 · 166 阅读 · 0 评论 -
SVM & FC+Softmax 分类
支持向量机是一种二分类模型算法,它的基本模型是定义在特征空间的间隔最大的线性分类器,说白了就是在中间画一条线,然后以 “最好地” 区分这两类点。以至如果以后有了新的点,这条线也能做出很好的分类。W每列代表一个SVM分类器,n个类别共n个SVM分类器,每个SVM分类器输出该样本属于某一个类的概率(即每个SVM均做二分类)原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制。Y按行进行softmax,即每个样本属于各个类别的概率和为1。样本数量b,类别数量n,特征长度d。原创 2022-09-07 16:34:11 · 942 阅读 · 0 评论 -
CUDA及深度学习环境配置大全
前言在执行下面的虚拟环境创建之前,需要先安装Anaconda(最新版本即可)。若创建过程中包的下载速度较慢,可以考虑换源(方法网上搜索)。所用到的所有文件:链接:https://pan.baidu.com/s/1imLTpQYaIjIrjuNKpOX2nQ提取码:e3gkpy37tfgpuPython3.7.13+TensorFlow-gpu2.3.0+cuDNN7.6.5+CUDA10.1安装CUDA10.1打开cuda_10.1.168_425.25_win10.exe自定义安原创 2022-04-11 12:04:17 · 5156 阅读 · 2 评论 -
多卡服务器使用
深度学习服务器多卡使用教程原创 2022-06-29 17:46:02 · 469 阅读 · 0 评论 -
print(net) vs. net.parameters vs. net.named_parameters
print(net)仅显示模型内部关于层的信息(不包括任何层的Paramter和自定义的Paramter)import torchfrom torch.nn.parameter import Parameterfrom torch import nnfrom torch.nn import functional as Ffrom torch import optimclass Net(nn.Module): def __init__(self): super(Net原创 2022-05-30 18:52:26 · 172 阅读 · 0 评论 -
PyTorch的参数固定以及detach clone
detachdetach()后的tensor与原tensor共享数据内存,当原始tensor在计算图中数值发生反向传播等更新之后,detach()的tensor值也发生了改变。import torchfrom torch import optimfrom torch.nn import Parameterx = torch.tensor(1.)a = torch.tensor(1., requires_grad=True)b = Parameter(torch.tensor(2.))y原创 2022-05-29 19:27:10 · 655 阅读 · 0 评论 -
Pytorch中Tensor Variable Parameter register_buffer以及求导运算
在较新的版本中,Variable被弃用,将功能合并给Tensor,所以不用考虑文章目录求导重要理论autogardbackwardno_gardoptimizer更新参数Tensor vs Parameter重要理论代码演示1 默认requires_grad模型绑定查看模型参数绑定和优化求导重要理论从头开始创建的Tensor(例如x = torch.tensor(1.))称为leaf Tensor(叶张量),依赖其他Tensor计算而来的(例如y = 2 * x)称为non-leaf Tensor原创 2022-05-23 09:46:40 · 310 阅读 · 0 评论 -
opencv PIL SummaryWriter读写图片的形状和顺序
cv2读入形状为HWC,顺序BGRPIL.Image读入形状为HWC,顺序RGBSummaryWriter.add_image默认写入形状为CHW,顺序RGBfrom PIL import Imageimport numpy as npimport cv2from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter("test_logs")img_path = "hymenoptera/train/ants/原创 2022-05-21 16:17:23 · 472 阅读 · 0 评论 -
Pytorch Tensor高阶操作
masked_?masked_select# ~对Boolean取反# torch.masked_select(x, mask) 与 x[mask]等效# Returns a new 1-D tensor which indexes the input tensor according to the boolean mask mask which is a BoolTensor.x = torch.randn(3, 4)mask = x.ge(0.5)xOut[5]: tensor([[原创 2022-05-28 09:36:59 · 1682 阅读 · 0 评论 -
Transfomer自实现与官方库
参考视频参考文章官方API v1.11.0文章目录前言结构图关于Q K V的shape字典反转CrossEntropyLoss(ignore_index=0)ModuleListzeros(1, 0) vs. zeros(1) vs. zeros([])总体实现使用实现使用官方分函数PositionalEncoding实现官方 无ScaledDotProductAttention实现官方 无MultiHeadAttention实现官方PoswiseFeedForwardNet实现官方 无Encode.原创 2022-05-31 16:25:49 · 292 阅读 · 0 评论 -
RNN&GNU&LSTM与PyTorch
RNN: 循环神经网络 short-term memory 只能记住比较短的时间序列的信息,时间长了会遗忘GRU: 折中方案,相对于LSTM更加简单,计算成本更低LSTM: 长短期记忆神经网络 long short-term memory 能够记住比较长的时间序列信息。...原创 2022-08-31 11:25:01 · 385 阅读 · 0 评论 -
优化器与PyTorch
梯度下降优缺点参考博客markdown数学公式参考博客本文仅代表个人观点,才疏学浅,欢迎指正。数学分析复习以下高等数学中梯度的相关知识:z=f(x,y)=1ax2+by2(1)z=f(x,y)=\frac{1}{ax^2+by^2}\tag{1}z=f(x,y)=ax2+by21(1)∂f∂x=−2ax(ax2+by2)2(2)\frac{\partial f}{\partial x}=-\frac{2ax}{(ax^2+by^2)^2}\tag{2}∂x∂f=−(ax2+by2)2原创 2022-01-20 23:11:47 · 941 阅读 · 0 评论 -
损失函数与Pytorch
均方误差/MSE/二次损失/L2损失MSE=1N∑i=1N(y−yˉ)2如果y和yˉ是向量,那么(y−yˉ)2=(∑i=1m(yi−yiˉ)2)2MSE=\frac{1}{N}\sum_{i = 1}^{N}(y-\bar{y})^2\\如果y和\bar{y}是向量,那么(y-\bar{y})^2=(\sqrt{\sum_{i = 1}^{m}(y_i-\bar{y_i})^2})^2MSE=N1i=1∑N(y−yˉ)2如果y和yˉ是向量,那么(y−yˉ)2=(i=1∑m(yi−yi原创 2022-05-22 20:58:04 · 361 阅读 · 0 评论 -
激活函数与Pytorch
基本概念单层求导f为激活函数y=f(wx+b)w=[w11w12...w1nw21w22...w2n............wm1wm2...wmn]x=[x1x2...xn]b=[b1b2...bm]y=[f(∑j=1nw1jxj+b1)f(∑j=1nw2jxj+b2)...f(∑j=1nwmjxj+bm)]∂y∂w=[f′(∑j=1nw1jxj+b1)x1f′(∑j=1nw1jxj+b1)x2...f′(∑j=1nw1jxj+b1)xnf′(∑j=1nw2jxj+b2)x1f′(∑j=1nw2j.原创 2022-05-22 23:23:09 · 322 阅读 · 1 评论 -
(小土堆)PyTorch深度学习
土堆视频文章目录前言Jupyter的使用ESC 命令模式双击 编辑模式dir和help使用[Pytorch中Tensor Variable Parameter以及求导运算](https://blog.csdn.net/qq_42283621/article/details/124921414)激活函数与Pytorch损失函数和Pytorch(重要)完整的训练套路TensorBoardTransformsDatasetDataLoaderModuleF.conv2d vs. nn.Conv2DSequent原创 2022-05-24 09:18:22 · 1316 阅读 · 0 评论