qq_40019838的博客

转置卷积也称为反卷积。对普通卷积，假设特征图是x\mathbf{x}x，在给定kernel_sizekernel\_sizekernel_size，paddingpaddingpadding，stridestridestride后卷积得到特征图y\mathbf{y}y，那么转置卷积就是希望从y\mathbf{y}y得到x\mathbf{x}x，也就是找到一个x\mathbf{x}x使它在给定的卷积参数设置下卷积后得到y\mathbf{y}y，当然这里只要求形状上的相等。转置卷积具体是这样实现的，首先将y\

文章目录GAN和WGANGAN判别网络生成网络训练GAN存在的问题训练稳定性模型坍塌改进方法：WGANWasserstein\text{Wasserstein}Wasserstein距离评价网络生成网络开源代码GAN和WGANGAN生成对抗网络(GAN, Generative Adversarial Networks)是2014年由Goodfellow提出的模型。在GAN中，有两个网络进行对抗训练，一个是判别网络，目标是判断一个样本是真实数据还是由生成网络生成的数据，一个是生成网络，目标是生成判别网络

AdaBoost二分类AdaBoost算法是一个加性模型F(x)=∑m=1Mαmfm(x)(1)F(x)=\sum_{m=1}^{M}\alpha_mf_m(x)\tag{1}F(x)=m=1∑M​αm​fm​(x)(1)其中fm(x)f_m(x)fm​(x)称为弱分类器或基分类器，αm\alpha_mαm​为弱分类器的集成权重，F(x)F(x)F(x)称为强分类器。AdaBoost采用迭代式的训练方法。假设已经训练了mmm个弱分类器，在训练第m+1m+1m+1个弱分类器时，增加已有弱分类器分错

文章目录STGCN摘要方法DCRNN摘要方法Graph WaveNet摘要方法ASTGCNSTGCN摘要传统方法无法实现精确的中长期预测，忽视时空相关性。我们提出了一种新颖的时空图卷积网络，采用了全卷积结构。方法图卷积：GCN时间卷积：卷积核在时间维度上滑动，对于长度为MMM的序列和宽度为KtK_tKt​的卷积核，输出长度为M−Kt+1M-K_t+1M−Kt​+1，最后使用了门控机制GLUT∗τY=P⊙σ(Q)T *_{\tau}Y=P\odot\sigma(Q)T∗τ​Y=P⊙σ(Q)

深度学习优化算法梯度下降想必没有人不知道，深度学习的优化算法都是基于梯度下降，这里对一些算法做一个总结。Momentum又称动量法，将目标函数梯度的指数加权平均作为更新的方向。vt=γvt−1+ηtgtxt=xt−1−vt\boldsymbol{v}_t = \gamma \boldsymbol{v}_{t-1}+\eta_t\boldsymbol{g}_t\\\boldsymbol{x}_t = \boldsymbol{x}_{t-1}-\boldsymbol{v}_tvt​=γvt−1​+

假设一个函数的输入为$k$为向量，那么它的Hessian矩阵有k特特征值，该函数在梯度为0的位置上可能是局部最小值、局部最大值或者鞍点。

神经网络之所以不能零初始化，是因为这样会使同一层的多个神经元退化为一个结点，参考为什么神经网络不能全零初始化。而对数几率回归本身相当于只有输出层一个结点的神经网络，自然不用考虑神经元个数的退化问题。...

为什么神经网络不能全零初始化相信所有学习过神经网络的人都知道神经网络的权重和偏置不能0初始化，但并不是所有人都知道为什么，在这里我们通过举例子+数学推导的方式解释原因。假设要学习的神经网络结构如下所示：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D44zSsfI-1618852646746)(C:\Users\liule\AppData\Roaming\Typora\typora-user-images\image-20210419235405721.png)]初始

Ubuntu16.04下安装Win10前两天更新win10系统莫名奇妙系统崩了，手头也没有其他电脑，但是电脑上装过双系统Ubuntu16.04，于是想通过Ubuntu来重装Windows，看了这篇博客Make a bootable Windows USB from Linux装成功了，我把主要步骤写一下。我的电脑是UEFI启动的，所以这里只涉及UEFI启动时的重装方法，如果是MBR启动的看Ubuntu下制作windows U盘启动盘（本文中的一些图片是从这个博客里面拷贝的）。此外，我下载的win10镜

信号量类的定义与实现#ifndef __SEMAPHORE_H__#define __SEMAPHORE_H__#include <mutex>#include <condition_variable>#include <chrono>class Semaphore{public: explicit Semaphore(int _...

吴恩达老师在深度学习视频中讲解softmax\mathrm{softmax}softmax函数时，直接给出了损失函数对z[l]z^{[l]}z[l]的导数，这里推导一下计算过程。假设输出层有nnn个神经元，使用softmax\mathrm{softmax}softmax函数后神经网络的输出为y^j=exp⁡(zj[l])∑i=1nexp⁡(zi[l])j=1,2,...,n\hat{y}_j...

这里是对吴恩达深度学习视频中后向传播求导公式的推导，需要对视频有一定了解。符号说明：n[l]n^{[l]}n[l]：第lll层神经元的数目；W[l]W^{[l]}W[l]：第lll层的权值；b[l]b^{[l]}b[l]：第lll层的阈值；z[l]z^{[l]}z[l]：第lll层的输入；a[l]a^{[l]}a[l]：第lll层的输出；g[l]g^{[l]}g[l]：第lll层的激...

文章目录隐马尔科夫模型1 隐马尔科夫模型概述1.1 隐马尔科夫模型的定义1.2 观测序列的生成过程1.3 隐马尔科夫模型的三个基本问题2 概率计算2.1 直接计算法2.2 前向算法2.3 后向算法2.4 一些概率与期望值的计算3 参数估计3.1 监督学习3.2 非监督学习4 状态预测4.1 近似算法4.2 维特比算法隐马尔科夫模型1 隐马尔科夫模型概述1.1 隐马尔科夫模型的定义...

需要注意的点：指数e前面必须有数字，后面只能为有符号或无符号整数；浮点数小数点不能超过一个，小数点后面必须为e或数字。#include <stdio.h>#include <ctype.h>#include <string.h>int main(void){ char number[50]; scanf("%s", numbe...

只考虑了7种类型，分别是关键字、标识符、常量、单目运算符、双目运算符、界符和错误。总之写的很挫。#include <stdio.h>#include <stdlib.h>#include <string.h>#include <math.h>#include <ctype.h>#define KEYWORD_NUM 32#...

1 信息熵熵是热力学中的一个参量，反映了体系的混乱程度。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 ，信息熵 。为引出信息熵，首先考虑信息量。当我们观测一个随机变量的具体值的时候会从中获得一定信息，而获得了多少信息则有信息量来度量。一般来说，一件越小概率的事情发生了，产生的信息量就越大；而越大概率的事情发生了产生的信息量越小，比如太阳从西边落下，这件事情肯定...

与操作系统实验（一）：进程控制块的作用相比考虑了优先级，创建的越晚优先级越高。源码PCB的定义#ifndef __PCB_H__#define __PCB_H__#define BLOCK -1#define READY 0#define RUNNING 1#define TIME_SLICE 3#define SYNTHESIZE(varType, varName...

超定方程组：最小二乘法最小二乘法是一种求线性方程组近似解的方法，基本思想是最小化残差平方和∑i=1n(yi^−yi)2\sum_{i=1}^{n}(\hat{\mathbf{y}_i}-\mathbf{y}_i)^2∑i=1n​(yi​^​−yi​)2，接下来从线性代数的角度来对最小二乘法进行完整的推导。对于线性方程组Ax=y\mathbf{Ax}=\mathbf{y}Ax=y，其有解的充要条...

EM算法EM算法是含有隐变量的概率模型参数的极大似然估计法。用YYY表示观测变量的数据，ZZZ表示隐变量的数据，θ\thetaθ表示要估计的参数，YYY和ZZZ连在一起称为完全数据，观测数据YYY称为不完全数据，假设YYY的概率分布是P(Y∣θ)P(Y\mid\theta)P(Y∣θ)，那么不完全数据YYY的对数似然函数是log⁡P(Y∣θ)\log P(Y\mid\theta)logP(Y∣...

#include <stdio.h>#include <stdlib.h>int readBuffer(FILE *fp, char *buf, int length){ int i = 0; char ch; while (i < length) { ch = fgetc(fp); if (ch...