Nibaby

经典的神经网络结构LeNet-5LeNet-5相比现代版本，这里得到的神经网络会小一些，只有约6万个参数。而现在，我们经常看到含有一千万到一亿个参数的神经网络，比这大1000倍的神经网络也不在少数。可以发现，LeNet-5网络结构随着网络层次的加深，图像的高度和宽度在缩小，与此同时，通道数量一直在增加。在这个网络结构中，一个或多个卷积层后面跟着一个池化层，然后又是若干个卷积层再接一个池化层，然后是全连接层，最后是输出，种模式至今仍然经常用到。AlexNet如图所示，Ale...

计算机视觉计算机视觉（Computer Vision）涉及许多不同类别的问题，如图片分类、目标检测、图片风格迁移等等。对于小尺寸的图片问题，也许我们用深度神经网络的结构可以较为简单的解决一定的问题。但是当应用在大尺寸的图片上，输入规模将变得十分庞大，难以获得足够的数据来防止神经网络发生过拟合和竞争需求，要处理包含几十亿参数的神经网络，这样巨大的内存需求让人不太能接受。但对于计算机视觉应用来说，我们肯定不想它只处理小图片，而是希望它同时也能处理大图。因此，我们需要进行卷积计算，它是卷积神经网络中非

误差分析

正交化在机器学习模型建立的整个流程中，我们需要根据不同部分反映的问题做出相应的解决措施。正交化是一种系统设计属性，其确保修改系统的某部分而不会对系统的其他部分产生或传播副作用，这样可有效减少测试和开发时间。以汽车为例，一辆车主要有三个控制，方向盘控制方向，油门和刹车控制速度，这样设计出正交化的控制装置，最理想的情况是和我们实际想控制的性质一致，这样我们调整时就容易得多。可以让车子以我们想要的方...

超参数调试调试处理在训练神经网络过程中需要设置很多不同的超参数，超参数的调试过程，一般按照重要性进行（以下列举只是一般来说）：首先，最重要的超参数是学习率； 其次为Momentum超参数、隐层的单元数以及mini-batch size； 第三重要为隐层的数量、学习率衰减率； 如果使用Adam优化算法的话，它的超参数一般采用默认设置(0.9,0.999,),不进行调试。在传统的机...

Mini-batch梯度下降Batch vs. mini-batch 梯度下降之前我们都是遍历完训练集中的所有样本才进行一次梯度下降迭代，这就是Batch梯度下降。当训练集样本数m非常大时，每次梯度下降都遍历一遍所有样本的效率会很低。我们一般会使用Mini-batch梯度下降来提高训练效率。如图所示，Mini-batch梯度下降就是将训练集分为若干个子集，即若干个mini-batch，遍历完...

机器学习基础训练_开发_测试集在训练神经网络时，我们需要作出很多决策，如神经网络的层数、每层的隐藏单元数、学习率和各层采用的激活函数等超参数，我们可以编码实现自己初始的想法，根据实验效果改进这些超参数，不断循环迭代，直到构建出一个性能优良的神经网络。一般把数据集分成三部分：训练集、验证集（交叉验证集）和测试集。训练集用于训练算法或模型；验证集用于模型选择，选择一个最优的模型（对应一组最...

神经网络的表示用上标[i]代表神经网络的第i层，用上标(i)代表第i个样本； 代表第i-1层和第i层之间的权重参数矩阵，维度为（代表第i层的单元数）；代表第i-1层和第i层之间的偏置参数向量，维度； 一般输入层为第0层，不算在神经网络的层数内。计算神经网络的输出单个样本前向传播：把整合为一个列向量记做，把整合为一个矩阵 多个样本前向传播：把m个样本的特征向...

什么是神经网络？以房价预测为例，首先训练集有4个输入特征，包括面积、卧室数量、地区邮编以及地区富裕程度。此时输入层有4个特征，输出层为房价，隐藏层设置3个隐藏单元（可变），神经网络结构如下：已知这些输入的特征，神经网络的工作就是预测对应的价格。注意各层之间的单元采用全联接的方式，神经网络的强大之处在于它能在标记训练集上，得到清晰的输入和输出之间的映射关系。用神经网络进行监督学习...

简介Anaconda是一个开源的包、环境管理器，包含了大量conda、python科学包及其依赖项。安装教程1. 下载链接：清华大学软件镜像站https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive2. 双击安装包：...