xu_aml的博客

《动手学深度学习》tensorflow2.0版 第三章笔记线性回归训练图像分类数据集（Fashion-MNIST）训练误差（training error）和泛化误差（generalization error）。作为一名tensorflow新手，用最基本的函数去完成一些任务是必要的，即使现在pytorch如日中天，还是认为目前一段时间工业界对tensorflow的需求还是会有很多，但是鄙人特别擅长反向押宝????。文中的代码没有实测运行。线性回归训练只利用Tensor和GradientTape来实现一个

初步理解TransformerTransformer结构图详细一点的结构图更详细一点的结构图Encoder的结构图Decoder的结构如图所示每个结构更加详细的解释：1、对输入进行Embedding特征化2、输入在Encoder层3、**Self-Attention 解释**1). Q,K,VQ,K,VQ,K,V的由来2). 步骤3、4、5 图示4、Multi-Head AttentionMulti-Head Attention全图为5、Encoder-Decoder Attention6、Residual

卷积神经网络发展概览 一、早期探索LeNetAlexNetVGG二、深度化ResNetDenseNet三、模块化GoogLeNetInception V2Inception V3Inception V4ResNeXtXception四、注意力SENetscSECBAM五、高效化SqueezeNetMobileNetShuffleNet六、自动化NASNetEfficientNet卷积神经网络的结构发展概述，主要包括：早期探索：Hubel实验、LeNet、AlexNet、ZFNet、VGGNet深度

《Neural Networks and Deep Learning》(五)笔记神经网络可以计算任何函数的可视化证明神经网络的一个最显著的事实就是它可以计算任何的函数，也就是说对定某种复杂而奇特的函数f(x)f(x)f(x)，不管这个函数是什么样的，总会确保有一个神经网络能够对任何可能的输入xxx，其值f(x)f(x)f(x)是网络的输出。 神经网络具有一种普遍性，不论我们想要...

改进神经网络学习方法-柔性最大值、L规范化方法以及其他技术《Neural Networks and Deep Learning》(四)笔记柔性最大值（softmax\text{softmax}softmax）柔性最大值是为神经网络定义一种新式的输出层。开始是和SSS型层一样，首先计算带权输入zjL=∑kwjkLakL−1+bjLz_{j}^{L}=\sum_{k} w_{j k}^{L} a...

自编码器是一种基于无监督学习的数据维度压缩和特征表达方法。多层自编码器能够更好地进行压缩及特征表达。本部分介绍自编码器及其变种，如降噪自编码器、稀疏自编码器，以及由多层自编码器组成的栈式自编码器.自编码器自编码器(autoencoder)(\text{autoencoder})(autoencoder)是一种有效的数据维度压缩算法，主要应用在以下两个方面构建一种能够重构输入样本并进行特征表...

受限玻尔兹曼机起源于图模型的神经网络。这种神经网络是由Hopfield\text{Hopfield}Hopfield神经网络那样的相互连接型网络衍生而来的。本部分首先介绍Hopfield\text{Hopfield}Hopfield神经网络和玻尔兹曼机，然后介绍受限玻尔兹曼机，最后介绍由多个受限玻尔兹曼机堆叠组成的深度信念网络。Hopfield\text{Hopfield}Hopfield神经网...

《图解深度学习》笔记卷积神经网络由输入层(input layer)、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer)和输出层(output layer)组成，如下图所示。 卷积层 卷积神经网络中的卷积操作可以看作是输入样本和卷积核的内积运算。在第一层卷积层对输入样本进行卷积操...

交叉熵代价函数改进神经网络学习方法——交叉熵代价函数《Neural Networks and Deep Learning》笔记对二次代价函数：C=(y−a)22(1)C=\frac{(y-a)^{2}}{2} \qquad(1)C=2(y−a)2​(1) aaa是神经元的输出，训练输入为x=1,y=0x=1,y=0x=1,y=0我们有a=σ(z)a=\sigma(z)a=σ(z)，其中z...

误差反向传播算法首先定义神经网络中的一些重要参数wjklw^{l}_{jk}wjkl​:表示从(l−1)th(l-1)^{\mathrm{th}}(l−1)th层的第kthk^{\mathrm{th}}kth个神经元到 lthl^{\mathrm{th}}lth层的第jthj^{\mathrm{th}}jth个神经元的连接权重，如下图所示 bjlb_{j}^{l}bjl​：表示...

神经网络与深度学习(Michael Nielsen)\text{(Michael Nielsen)}(Michael Nielsen)笔记（一）1. 感知器工作原理 一个感知器接受几个二进制输入，x1,x2,…x_{1}, x_{2}, \dotsx1​,x2​,…，并产生一个二进制输出。上图中，感知器有三个输入x1,x2,x3x_{1}, x_{2}, x_{...

图解深度学习笔记误差反向传播算法一、单层感知器期望输出rrr和网络的实际输出yyy计算最小二乘误差函数 EEE连接权重www 、η\etaη 表学习率 、 sigmoid\text{sigmoid}sigmoid函数作为激活函数f(u)f(u)f(u)单层感知器：∂E∂wi=∂E∂y∂y∂wi(1)\frac{\partial E}{\partial w_{i}}=\frac{\par...