shelly_fun-CSDN博客

原创关于离散图像与深度学习模型可微的一些思考

就好像大家下意识会想到Loss需要可微不然无法反传一样，Loss只是整个神经网络的一环，是其中的一个可微的函数，包括经典MLP中的仿射变换以及CNN中的卷积操作，事实上都只是一个线性/非线性可微/连续函数，整个网络是一个线性/非线性映射f(·)，网络的可微应该指的是抛开输入(我们取到的离散图像)后由所有神经元以及Loss所组成的函数f是可微的。我们说，图像是一个连续分布的采样，比较贴切的理解来说，就类似在一个一维实数域R上取了一个数，只不过此时所取的数来自R^{MxN}。

2023-09-19 17:43:32 137

原创 Softmax Loss(Cross Entropy) 与 MLE

Softmax Loss等价于在负对数方向上极小化MLE。设总体(X,Y)~P，为概率密度分布，为从总体X中抽取的样本，对应于类，我们希望在给定样本条件下，使得最大，也即此时为属于各类的概率，为真实在各类上的概率，注意，此时为one-hot编码。所以，我们求其似然函数有: ...

2021-10-29 10:21:23 332

原创关于nn.Sequential()参数访问

《dive into deep learning》chapter 3.3 Concise Implementation of Linear Regression中对于简单线性回归问题用torch API编写中，一个简单的线性最小二乘回归等价于一个全连接网络，在其中关于网络模型构件中使用的是：trainer = torch.optim.SGD(net.parameters(), lr=0.03)其中优化器的第一个输入是net.parameters(),此时查看已创建的net有Input：net

2021-10-27 15:30:36 3883

原创 tensor类型对应以及转换

pytorch中有torch.float32等的数据类型，主要的对应关系及转化有：short————————torch.int16转化:tensor.short()或tensor.type(torch.int16)int—————————torch.int32转化：tensor.int()或tensor.type(torch.int32)long————————torch.int64转化：tensor.long()或tensor.type(torch.int64)float————————to

2021-10-21 14:46:17 3676

原创 torch.cat/stack，np.concatenate/stack区分

torch.stack与np.concatenate均是在已有的基础上创建一个新的维度，因此要求提供的矩阵/张量具有相同的维度。torch.cat与np.stack则都是在已有的行列上进行拼接，必须保证需要拼接的方向具有相同的大小。...

2021-10-19 10:21:49 939

原创图像处理对数变换以及对数变换的拉伸

这篇仅当作随手小记，可能不对，请各位及时指正。在学习图像处理的基本知识的时候，我们常常能听到诸如由于对数本身上凸的性质，它可以把低灰度（较暗）部分的亮度提高。由对数函数的性质，确实能将暗部提高，亮部压缩。但是凡事都有限度的。诸如一个前100行为0.0001，102行为0.00000000001，102到200行为0.0002，300到400行为10等，也即是HDR图像的标配，此时常规的对数变换还是无法得到良好的对比度的，原因在于log（1+0.00005）=4.999e-5，而log（20+1）=3

2021-10-11 21:27:39 1731

原创 Numpy中图像数据的储存与Tensor转化

在写网络时，常常要自己导入数据和预处理，其中很关键的一点就是要将Numpy数据转化到torch.tensor，这里就牵扯到一个问题，在Np.array中，一张RGB图像的储存是按照[H,W,C]进行存储的，而在Torch中，图像是按照[C,H,W]进行存储，而且在进行torchvision.transforms.ToTensor中会自动将文件转存为[C,H,W], 我的疑问是：1.Numpy中数据是如何储存又该如何去读？ 2. ToTensor操作后的数据和在Numpy中自行reshape为...

2021-09-26 16:51:08 522

原创直方图均衡与直方图匹配的实现过程

直方图均衡没什么说的，唯一要强调的一点是直方图匹配是以直方图均衡为桥梁的，直方图均衡将不同分布统一映为uniform

2021-09-07 09:48:17 96

原创 Matlab浮点数精度问题在计算中的避免方法

今天需要进行矩阵计算，构造了目标矩阵c以及需要进行操作的矩阵a、b：a = 0 0 0 0.5000 0.3000 0.4000 0 0 0b = 0 0.1000 0 0 0.2000 0 0 0.3000 0c = 0 0....

2021-09-01 15:38:01 3635

qq_38385468的博客