water的博客

Numpy理解各种梯度下降等优化算法一 本节课程介绍1.1 知识点1、优化算法的基本介绍；2、梯度下降算法的实现；3、随机梯度下降的实现；4、其他优化算法的对比；二 课程内容2.1 优化算法基本介绍优化算法常用在最优化模型上，使得模型的损失值为最小。经典的优化算法分为直接法和迭代法。直接法是指能够直接获取到优化问题的最优解。其要求目标函数需要满足两个条件：（1）目标函数需要是凸函数，若目标函数是凸函数，其最优解处的梯度为0；（2）对于求解目标函数梯度为0，需要有其闭式解。常见的直接优化算法

TensorFlow实现卷积神经网络一 本节课程介绍1.1 知识点1、卷积神经网络介绍；2、TensorFlow实践CNN网络；二 课程内容2.1 卷积神经网络基本介绍卷积神经网络是一种使用卷积结构构建的神经网络模型，其特点是局部感知、权值共享，池化减少参数和多层次结构。其基本结构包括输入层、卷积层、降采样和全连接输出层。其中每一层都由卷积核对图像进行卷积计算，将计算到的矩阵称称为特征图，特征图在原图像所映射的区域称之为感受野。一般而言，第一个卷积层的感受野大小等于卷积核大小，而之后的卷积层

一 本节课程介绍1.1 知识点1、图像识别分类相关介绍；2、Mnist手写数据集介绍；3、标准化数据预处理；4、实验手写字体识别二 课程内容2.1 图像识别分类基本介绍计算机的图像识别通常分为两大步骤:图像特征提取和图像分类预测。首先对输入图片进行预处理,处理为适合特征提取的形式,然后提取图像的特征,之后对特征图像进行分类预测。其中,图像预处理主要是为了消除干扰,增强目标图像信息,更好地进行图像特征提取。2.1.1 常见的预处理方法(1)灰度化:将RGB图像改为灰度图像,主要有分量法、

第五讲 pytorch实现神经网络一 本节课程介绍1.1 知识点1、神经网络的基本介绍；2、pytorch实现神经网络回归预测；二 课程内容2.1 神经网络基本介绍神经网络本质是链式求导法则的应用，它是神经网络的基础，也是神经网络理论的重要发展成果。它的法则从宏观来看很像人类的思考方式，所以通常用它来模拟人类的学习思维能力，被广泛应用于价值评估和价格预测领域。神经网络结构包括一个输入层，一个输出层，一个或多个隐含层。每层由若干个节点构成，各层节点通过全连接的方式连接，而同层内各神经元之间相互

第四讲 Pytorch理解激活函数一 本节课程介绍1.1 知识点1、神经网络激活函数的基本介绍；2、pytorch实现Relu激活函数；3、pytorch实现Tanh激活函数；4、pytorch实现Sigmoid激活函数；二 课程内容2.1 激活函数基本介绍神经网络是通过算法模拟生物的神经传递实现的算法。在生物的神经元之间的传递依赖于神经元的激活状态，即点火与否，分别为1和0。为了模拟这种神经元传递，使用构建激活函数的方式进行信息传递。2.1.1 Sigmoid和Tanh激活函数sig