Harvey_Hawk的博客

传统监督学习对预测过程建模：，学习目的是降低与标签的误差。传统监督学习是通过学习一个数据集中的带标签数据，得到针对这个数据集的预测模型参数，从而对这个数据集中的无标签数据的标签进行预测。Meta-learning对学习过程建模：，是预测模型的参数，学习目的是如何根据数据集生成对应的预测模型。Meta-learning是在对现有的多个数据集学习的过程中，同时学习到这些数据集的共同特征（先验知识）。这样当需要对一个数据量很小的新数据集进行学习时，可以根据先验知识很快学习到新数据集对应的模型参数.

激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择

Pytorch一般有两种图像数据读取方式：1、在每次迭代时，读取当前用到的图像：因为图像只有在用到的时候才写进内存，所以内存占用很小；但是这样每次迭代之前都有一个imread的过程，从而导致GPU利用率忽高忽低，且利用率峰值也很低，训练时间很长；2、事先读取所有图像：如果数据集较大的话，读取完整数据集的过程会耗费大量时间，内存占用也会很大；不过因为不用在迭代之前读图，所以GPU利用率会稳定在一个很高的值，大幅降低整体训练时间。注：在Windows系统中可以在任务管理器里查看GPU使用情况，但上面

2017年，LeCun在“讲述深度学习与人工智能的未来”演讲中提到，AI发展的一大难题就是怎样让机器掌握人类常识，而这是让机器与人类自然互动的关键。要做到这一点，机器需要有一个具备预测能力的内在模型，他提出了一个公式来描述这种AI系统：预测+规划=推理。AI的发展方向是不需人类训练，让机器自主构建这个内在模型。在2017年的采访中，LeCun回答了他近期的研究课题：1）用GAN研究预测模型，其实本质就是无监督学习；2）如何理解深度学习目标函数的几何结构。2018年的AAAS研讨会上，..

论文要点总结：Gradient-Based Learning Applied to Document Recognition（一）III. 结果和与其他方法的对比虽然识别单个数字只是设计一个实际识别系统所涉及的众多问题之一，但它是比较形状识别方法的一个很好的基准。尽管许多现有方法是将手工特征提取器与可训练分类器结合，本文集中研究直接对尺寸归一化图像进行操作的自适应方法。A. 数据集：MNIST（Modified NIST）NIST数据集中，训练集中的数字要比测试集中的更加清晰、易于识别。将N

论文阅读：Gradient-Based Learning Applied to Document Recognition（一）（I）II. 用于孤立字符检测的卷积神经网络

1、输入输出具有相同通道数时，内存消耗最小；2、虽然组卷积能提高模型准确度，但使用过多的分组卷积会增大内存访问成本（MAC），从而降低模型速度；3、同样的FLOPs，模型的分支数量越少，运行速度越快（同样的单元数与FLOPs，串联的运行速度快于并联）；4、Element-wise操作的运行时间不能忽略（如Add、激活函数、短连接、depthwise可分离卷积），（尤其在GPU上）是典型...