- 博客(250)
- 收藏
- 关注
RSS订阅原创 Dataset数据集加载以及元学习格式加载数据
关于数据集格式重组，重写Dataset函数Dataset源码全部的其他数据集类都要继承这个类，里面的必须要重写。def里的idx是根据__len__的长度范围内随机生成的。
2024-04-02 10:47:34
202
原创 T5模型结构部分简述
在train模式下和在test模式下Decoder的输入是不同的，在train模式下Decoder的输入是Ground Truth，也就是不管输出是什么，会将正确答案当做输入，这种模式叫做teacher-forcing。，在Encoder中是将所有的词一起输入一起计算，但是在Decoder中不是的，在Decoder中依然是像RNN一样一个一个词输入，将已经出现的词计算得到的Q与Encoder计算得到的K,V进行计算，Decoder在训练的时候应该是可以并行化的，在测试的时候不可以并行化。
2024-03-29 11:19:31
410
原创 模型参数加载
然而，nn.Parameter(torch.ones(10))这样使用nn.Parameter进行初始化的，当然此时模型类在定义时需要写一个能将模型参数通过外部数据进行赋值的函数，通过该函数将params传进去即可。也就是0维竖着看，1维横着看。
2024-03-23 16:13:28
194
原创 定时间启动.sh
机器正有人用着，大概1点以后用完自己才能跑，所以定个时大概1点以后运行一下看看显卡有没有空能不能跑。不能跑的话一个小时后再试试。
2024-03-23 16:07:29
132
原创 linux远程服务器上下载模型等
记录一下在使用服务器下载时出现的一些问题和解决方法。镜像链接huggingface。git下载太慢，需要设置代理。找到openai包的位置。
2024-01-22 19:50:17
557
原创 C盘占内存能删的部分
C:\Users\用户名\AppData里面一般有三个文件夹，分别是Local，LocalLow，Roaming，简单地来说，都是用来存放软件的配置文件和临时文件的，里面有很多以软件名称或软件公司命名的文件夹，理论上都可以删除。软件在慢慢的使用过程中，我们会发现这个软件越来越顺手，可能你改了软件的主题，可能你改了布局，也可能你改了相应的快捷键，等等，特别是一些可定制性强的软件。C:\Users\用户名\AppData\Local\Temp里面是临时文件。里面存放的是软件运行时和结束后的数据和配置文件。
2024-01-18 20:49:04
420
原创 余弦距离和余弦相似度的区别
余弦相似度，就是计算两个向量间的夹角的余弦值：cosθ ，取值范围 [-1,1]。余弦距离就是用1减去这个获得的余弦相似度：1-cosθ ，取值范围 [0,2]。余弦距离和欧氏距离一样都可以用来衡量向量距离：都是值越大，距离越远。
2023-12-21 16:03:43
478
原创 Neural ODE 神经常微分方程
欧拉法求解：欧拉法求解过程是一个递归的过程，这个思想和牛顿法、梯度下降法是相似的。它就相当于是计算器，我们给出初始to,h(t0),神经网络，要求的时间t ，它就可以自动求解。先由当前点用欧拉法求出下一点wi+1’的值，再用当前点梯度和预报点梯度的平均 作为 区间平均变化率 求解真正wi+1点的值。最近的研究发现梯度下降算法的迭代过程(GDA) 可以看作是常微分方程 (ODE) 的欧拉离散化。先用欧拉法估计h/2处的梯度，再用这个值计算wi+1。设计一个网络来估计我们要求的参数的梯度，这里是原型p。
2023-04-25 20:02:30
1120
原创 熵，线性规划，半监督自监督聚类打标签
聚类(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。划分式聚类方法需要事先指定簇类的数目或者聚类中心，通过反复迭代，直至最后达到"簇内的点足够近，簇间的点足够远"的目标。，第一次用输出的概率进行加权平均，然后用余弦距离加伪标签，然后用k-means聚类的方法再求一次聚类中心，再用余弦距离加伪标签，这样得到的伪标签较为准确。对象的信息熵是正比于它的概率的负对数的，也就是。
2023-02-28 21:17:37
553
原创 if __name__==‘__main__‘:、argparse.ArgumentParser()，集合
1： python 后面直接跟文件名，这个时候把python程序当做脚本来运行。无论是在cmd当中执行“”python file.py“”这样的命令，还是IDE当中点击run运行都是这样运行的。python中的字典对象可以以“键：值”的方式存取数据。OrderedDict是它的一个子类，实现了对字典对象中元素的排序。name or flags - 一个命名或者一个选项字符串的列表，例如 foo 或 -f,action - 当参数在命令行中出现时使用的动作基本类型。choices - 可用的参数的容器。
2023-01-17 20:23:31
369
原创 特征解耦,torch.cumprod(),np.random.seed(),plt.scatter
特征解耦，x.detach阻断梯度回传，torch.cumprod()累乘，np.random.seed(0)产生相同的随机数，plt.scatter画图
2022-12-03 09:38:01
1138
原创 enumerate(),plt绘图,保存json,cv2.resize,baseline
1.enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。baseline 就只是「参照物」的意思，至于 baseline 系统是怎么来的、性能如何，并没有一定的标准。INTER_LINEAR - 双线性插值，如果最后一个参数你不指定，默认使用这种方法。resize是opencv库中的一个函数，主要起到对图片进行缩放的作用。这么说resize岂不是和上采样和下采样功能方法几乎一致？放大缩小都使用的以上插值方法。
2022-11-30 19:15:30
438
原创 Pytorch使用Grad-CAM绘制ViT热力图
（2）反向梯度传播是从最后预测开始，逆着经过整个模型，而Dropout和MLP都是单个token做的，不能将最后y_c结果梯度传给所有token，只有在倒推回自注意力后才能将梯度返传给所有token。所以，去掉class_token序列，拿到所有组成原图的token，将它们reshape回原图的大小。图片划分patch，加上class_token，加上位置编码，传到transformer，分类预测。（1）在代码得到CAM图时，由于VIT最后得到的是patch的梯度，要reshape成二维图。
2022-11-25 22:39:39
4436
5
原创 Pytorch使用Grad-CAM绘制热力图
使用grad_cam对不同预测目标的图像做activate图。需要模型feature的最后一层，模型训练权重。使用的是自己训练的MobileNetV2。原理与代码学习自B站。
2022-11-24 12:05:03
5191
6
原创 概率论的一些知识
F ( x ) F ( x )F(x)在点x xx处的函数值表示X XX落在区间( − ∞ , x ] (−\infty,x](−∞,x]内的概率，所以分布函数就是定义域为R RR的一个普通函数，因此我们可以把概率问题转化为函数问题，从而可以利用普通的函数知识来研究概率问题，增大了概率的研究范围。1.PDF：如果X 是连续型随机变量，定义概率密度函数为f X (x)，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率，即。3.A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）
2022-11-01 20:44:57
395
原创 有无监督，上下游任务，高斯分布，BN总结
6.在深度学习中，语义信息可以通俗的理解成是图像的纹理，颜色，或者目标的类别等信息，例如在检测网络中，一个图像输入到网络中，经过一层层的卷积之后，语义信息会越来越明显，但是相对的位置信息会越来越弱，因为越到高层卷积的时候，feature map映射到原图中的感受野越大，这样对局部的位置信息感受就比较差。有激活函数解决这个问题。，现实中的很多随机变量是由大量相互独立的随机因素的综合影响所形成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量往往近似服从高斯分布（中心极限定理的客观背景）。
2022-10-24 20:35:40
2290
原创 logit,熵,聚类等知识总结
Kmeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。③进行的是全局优化，强调一个神经网络模型囊括模型中所有步骤：可以实现各个子步骤的综合的、全局的优化的模型 也可以叫作端到端。用基于P的编码去编码来自Q的样本，所需要的比特个数。
2022-10-13 16:47:26
697
原创 torch.nn.Parameter()，nn.Embedding()
含义是将一个固定不可训练的tensor转换成可以训练的类型parameter，并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的 parameter，所以在参数优化的时候可以进行优化)，所以经过类型转换这个变量就变成了模型的一部分，成为了模型中根据训练可以改动的参数。（2）使用self.test = torch.nn.Parameter(torch.rand(1, 2))#注意：Parameter大写P。1.torch.nn.Parameter()函数。
2022-09-17 10:14:12
2712
原创 计算机视觉部分函数积累
transforms.RandomResizedCrop(224) 函数：将给定图像随机裁剪为不同的大小和宽高比，然后缩放所裁剪得到的图像为制定的大小；transforms.RandomHorizontalFlip() 以给定的概率随机水平旋转给定的PIL的图像，默认为0.5；(2.torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；(3.torchvision.transforms: 常用的图片变换，例如裁剪、旋转等；
2022-09-14 16:08:54
1222
原创 pytorch的函数（如squeeze,permute,flatten,stack,numel,matmul）
squeeze,permute,flatten,numel,matmul等。
2022-09-12 16:29:21
560
原创 循环神经网络RNN基础《PyTorch深度学习实践》
Dense全连接 DeepDNN稠密网络，全连接网络（权重最多，占大头）卷积 权重少 原因是：卷积核上权重整个图像上是共享的，所以参数少循环神经网络RNN：专门用来处理带有序列关系模式的数据（天气，故事，自然语言），使用权重共享来减少需要训练的权重的数量使用思路：不仅要考虑序连接关系还要考虑先后的时间关系RNN Cell：本质线性层（一个维度映射到另一个维度） 如下图h0先验值：CNN+FC（图像生成文本）或设成和h1…同维度的向量for x in X: #h1=Linea
2022-08-02 17:56:17
203
原创 python小知识
6.Pythontimesleep()函数推迟调用线程的运行，可通过参数secs指秒数，表示进程挂起的时间。(-1)或[-1]则表示的是将元组或列表进行切片，切片的规则是取元组或是列表除最后一位元素的切片。file要保存的文件名称，需指定文件保存路径，如果未设置，保存到默认路径。arr为需要保存的数组，也即把数组arr保存至名称为file的文件中。从中可以看出(-1)或[-1]表示的是将元组或列表逆序。3.list(set())函数对原列表去重并按从小到大排序。...
2022-07-31 17:39:33
105
原创 GitHub使用笔记
分支创建并切换到该分支上定位ls是定位的文件夹中的文件1.建立远程仓库2.将远程仓库克隆到本地(1)创建文件夹(2)右键git bash here(3)克隆到本地想要从本地往远程仓库里添加内容（而不是在网页上直接编辑），必须先将它克隆到本地，变成一个本地仓库。将远程仓库克隆到本地，以便为其添加内容。3.本地仓库添加项目进入克隆后得到的文件夹，在该文件夹中添加项目。本地仓库就被更新了，但远程仓库还没有被更新，下面我们需要将此本地仓库上传到远程仓库。4.本地仓库上传到远程仓库鼠标右键
2022-07-12 22:33:33
62
原创 flask+layUI+mysql 列表和表单数据
flask+layUI+mysql首先通过’/student/跳转到列表界面@user_blueprint.route('/student/', methods=['GET', 'POST'])@is_logindef student(): """学生信息列表""" if request.method == 'GET': return render_template('student_list.html')Js中调用url: ‘/user/get_student_
2022-05-05 19:18:39
2038
原创 flask +layUI+ ajax 上传图片
flask +layUI+ ajax 上传图片-放到本地文件夹中记录：1、在使用layui时出现的问题，加载css,js出现问题GET http://127.0.0.1:5000/layui/css/layui.css net::ERR_ABORTED 404 (NOT FOUND)然后我将layui文件夹放到static里改成< link rel=“stylesheet” href=“…/static/layui/css/layui.css” media=“all”>，就行了（好像对于
2022-05-04 22:14:14
793
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人