weixin_73539893的博客

原创 批归一化与层归一化

Layer Normalization（层归一化） (wolai.com)

原创 深度学习部分激活函数

1）Leaky ReLU函数通过把x xx的非常小的线性分量给予负输入0.01 x 0.01x0.01x来调整负值的零梯度问题。2）Leaky有助于扩大ReLU函数的范围，通常α \alphaα的值为0.01左右。sigmoid是一个非线性函数，输出将是一个非线性的加权和(下一个神经元)输入，ReLU可以时部分输出为0，可以使得网络变得稀疏，减少参数的依存性，缓解过拟合。替换了sigmoid，由于sigmoid的计算量大，反向传播计算量大。3）Leaky ReLU的函数范围是负无穷到正无穷。

原创 自写的Unet,UnetPP,Unet3P网络

如有不足，欢迎指正。

原创 线性代数(复习二)

2.正交矩阵A=(γ1，γ2，γ3)其中两两相乘为0，并且A转置和A可逆相同。1.R^n表示n维的一个欧式空间。3.特征值和特征向量只针对方阵。

原创 高等数学公式自用

原创 鞍点的判断（黑森矩阵/黑塞矩阵）

判断鞍点的一个充分条件是：函数在一阶导数为零处（驻点）的黑塞矩阵为不定矩阵。半正定矩阵： 所有特征值为非负。半负定矩阵：所有特征值为非正。不定矩阵：特征值有正有负。容易解出特征值一个为2,一个为-2（有正有负），显然是不定矩阵，注意：函数在一阶导数为零处（驻点）的黑塞矩阵为不定矩阵只是判断该点是否为鞍点的充分条件，也就是说函数在一阶导数为零处（驻点）的黑塞矩阵不满足不定矩阵的定义，也不一定能够说明它不是鞍点。比如在 z=x^4−y^4点 (0,0)处的 Hes

原创 Sigmoid,Rule,LeakyRule,ELU

网络截取：超参数α的取值也已经被很多实验研究过，有一种取值方法是 对α随机取值，α的分布满足均值为0,标准差为1的正态分布，该方法叫做随机LeakyReLU(Randomized LeakyReLU)。至于为什么随机LeakyReLU能取得更好的结果，解释之一就是随机LeakyReLU小于0部分的随机梯度，为优化方法引入了随机性，这些随机噪声可以帮助参数取值跳出局部最优和鞍点，这部分内容可能需要一整篇文章来阐述。小于0的部分，斜率有微小的变动，斜率值一般取0.01。Rule,解决梯度消失的问题，

原创 fashion时尚衣服

mnist_train[0] # 通过下标访问任意一个样本，返回值为两个torch，一个特征tensor和一个标签tensor。# 将img转形为28*28大小的张量，然后转换成numpy数组。# 创建子图，一行len(images)列，图片大小12*12。# len(mnist_train) # 输出训练集的样本数。# zip函数将他们压缩成由多个元组组成的列表。# 设置每个子图的标题为标签。# 循环向X列表添加图像。# labels是一个列表。# 循环向y列表添加标签。# 数值标签转文本标签。

原创 线性代数(复习一)

1.(标准)正交向量组(a.向量都单位向量b.两两正交)→线性无关。2.极大无关组是子空间一个基，同时也是它的维度。3.‖a‖是a长度，也是范数(高维度上)。4.牢记施密特正交化法。

原创 CNN识别手写字体(深度学习)

self.fc1 = nn.Sequential(nn.Conv2d(1, 32, 5, 1, 2), nn.ReLU(), nn.MaxPool2d(2, 2))#卷积层第一层进入通道数，第二层输出通道数即生成特征图的数量，第三层是5x5卷积窗口大小的，第四层是步长，第五层是在最外围填充几圈0，池化层第一层是2x2的窗口，第二层是步长为2。x = x.view(x.size()[0], -1) # 四维数据二维化。x = self.fc1(x)//卷积层接收的是一个四维。

原创 线性拟合以及非线性拟合

optimizer = optim.SGD(model.parameters(), lr=0.1)//优化model。plt.plot(x_data, y_pred.data.numpy(), 'r-', lw=3)//输出图形。noise = np.random.normal(0, 0.1, x_data.shape)//随机噪声。self.ic = nn.Linear(1, 1)//线性组合用到的线性功能。y_data = y_data.reshape(-1, 1)//将x和y数值进行二维化。

原创 深度学习pytorch(一)，图像识别

​​​​​​​。

原创 python读取文档图片并进行名称的修改

对jpg格式的图片进行重命名，也可以将jpg改为png或者其他类型

原创 关于高数第二章的例题

一.对于答案的第一步，我个人目前能力有限不太理解，所以我试着以其他方法来做。虽然有些简单，但还是有很多知识点在里面。二.这部分利用了微分定理来证明，可以试着做一下，下面有答案。三.关于等价无穷小这题在没学到泰勒公式而只学到洛必达之前的时候，b与c会感觉是一样的 ，但是根据泰勒公式，可以进行三者的比较，泰勒公式中的多次求导ln(1+2x)与sin2x都是有关于2x的值，而2sinx的值偏离的越来越大。

原创 关于python中的if,while和for简单介绍

关于python中的if,while和for简单介绍

原创 关于高数第二章(导数与微分）的内容(基础公式篇)

1.常用的基本初等函数导数2.常用的高阶导数(可以用泰勒公式进行推导)3.微分基本公式4.反函数的导数等于原函数导数的倒数5.微分求近似值f(x＋△x)＝f(x)+f’(x)△x6.导数与微分dy＝f’(x）dx7.参数求导，一般求y关于x的二次导数x＝φ(t)y＝ψ(t)d²y/dx²＝d/dx(dy/dx)，同时除以dt转换成关于y与t以及x与t的导数

原创 人工智能数学中的强归纳法和高中归纳法

归纳法属于强归纳法中的特殊情况，两者的不同点在于归纳法是x＝k时，f(x)成立，推出f(x+1)成立而强归纳法是x≤k时，f(x)都成立，推出f(x+1)成立归纳法例题很多，不多说强归纳法例题(原题取自互联网)在n＜k时，f(n)都成立，所以从小于k中的数值进行取值以算出n＝k成立，则成立。

原创 关于python的基本知识(一)

1.print输出2.import导入模块，import＋模块名3.if进行假设，elif指else ifif中的条件为True则打印输出if中的内容Flase则不进行输出4.while(True):,while True循环while内的内容5.def进行函数的定义6.int使数值整数化 float进行浮点化 str字符串7.%m.nf表示总长度m(包括小数点），精确到小数点后n位8.输出方式name ＝ “张三”age ＝ 18print(

原创 关于高数第一章的内容

1.[x]表示不大于x的最大整数2.用ε-N方法证明极限，N＝[ε]+1，n＞N3.证明极限不存在的方法。 (1)寻找一数列，｛x｝，满足lim(n→∞）xn＝x0，但lim(n→∞）f(x)不存在 (2)找两个数列，｛xn｝和｛yn｝，满足lim(n→∞)xn＝lim(n→∞）yn＝x0，但lim(n→∞)f(xn）≠lim(n→∞）f(yn）4.连续函数 (1)奇函数任意原函数都是偶函数 (2)偶函数原函数只有一个是奇函数 (3)函数与原函数之间没有逻

原创 关于高数第一章的内容

一元函数1.原函数连续，绝对值一定连续；绝对值连续，原函数不一定连续。2.原函数连续，导函数不一定连续，导函数连续 原函数一定连续。如 y＝|x|3.可导一定连续，连续不一定可导4.一个导数一般看不出原函数是不是单调。如题多元函数该例题在一元函数中可导与可微是等效的，但是题目并未说明一元还是多元。可微→可导可微→连续但是可导与连续并无直接关系