![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音、文本。
阿默mini
不积跬步,无以至千里
展开
-
深度学习相关知识
1、深度学习:是加深了层的深度神经网络,基于之前的网络只需要通过叠加层就可以创建深度网络,比如进行手写数字识别的深度CNN,使用He初始值作为权重的初始值,使用Adam更新权重参数,识别精度能达到99%以上,具有以下特点:基于3x3的小型滤波器的卷积层;激活函数是ReLU;全连接层后面使用Dropout层;基于Adam的最优化;使用He初始值作为权重初始值。2、提高识别精度的技术:集成学习、学习率衰减、Data Augmentation(数据扩充)等都有助于提高识别精度,尤其是数据扩充技术在原创 2020-08-10 11:25:49 · 284 阅读 · 0 评论 -
浅谈卷积神经网络CNN
1、卷积神经网络CNN (Convolutional Neural Network):被广泛应用于图像识别、语音识别等场合,在图像识别比赛中,基于深度学习的方法几乎都以CNN为基础。CNN中新增卷积层(Convolution层)和池化层(Pooling层),连接顺序变成了“Convolution-Relu-Pooling(有时可以省略)”,而输出层的前一层依旧使用“Affine-ReLU”组合。2、全连接:神经网络相邻层的所有神经元之间都有连接,输出的数量可以任意决定,比如Affine层。全连接层所存在的原创 2020-08-08 10:58:05 · 816 阅读 · 0 评论 -
与“学习”相关的优化技巧
1、参数更新:最优化即解决寻找最优参数的问题,神经网络进行最优化比较困难是因为参数空间非常复杂,无法轻易找到最优解。为了寻找最优参数,将参数梯度作为线索,使用参数梯度沿着梯度方向更新,并不断重复直至逐渐靠近最优参数的过程称为随机梯度下降法SGD,除此之外还有其他最优化方法。2、随机梯度下降法SGD:把需要更新的参数记为W,把损失函数关于W的梯度记为偏导,η表示学习率,用右边的值来更新左边的值朝着梯度方向前进一定距离。class SGD: def __init__(self,lr=0.01):原创 2020-08-01 11:10:50 · 218 阅读 · 0 评论 -
神经网络之误差反向传播法
1、计算图:将计算过程用数据结构图表示,通过多个节点和边表示,节点用O表示,O中是计算内容,将计算的中间结果写在箭头上方,表示各个节点的计算结果从左向右传递。用计算图解题的流程即:①构建计算图;②在计算图上从左向右进行计算(正向传播,从计算图出发点到结束点的传播,反向传播正好相反)。2、计算图的优点:①计算图可以集中精力于局部计算,从而简化问题,无论全局计算多么复杂,各个步骤所要做的就是对象节点的局部计算,通过传递它的计算结果,可以获得全局的复杂计算结果。②可以通过反向传播高效计算导数,反向传播使用与原创 2020-07-29 17:31:21 · 2378 阅读 · 0 评论 -
神经网络之学习过程
1、神经网络的学习:指的是从训练数据中自动获取最优权重参数的过程。学习的目的是以损失函数为基准,找出能使它的值达到最小的权重参数,采用函数斜率的梯度法可以找出尽可能小的损失函数的值。2、从数据中学习:...原创 2020-07-26 17:33:25 · 2975 阅读 · 0 评论 -
神经网络之入门基础
1、神经网络:一个重要性质是它可以自动从数据中学习到合适的权重参数,用图表示神经网络的话,最左边的一列称为输入层,最右边的一列称为输出层,中间的一列称为中间层(也称隐藏层)。一般而言,“朴素感知机”是指单层网络,指的是激活函数使用了阶跃函数(一旦输入超过阈值,就切换输出的函数)的模型;“多层感知机”指神经网络,即使用sigmoid函数等平滑的激活函数的多层网络。2、激活函数:将输入信号的总和转换为输出信号,作用在于决定如何来激活输入信号的总和,通常可以分为两个阶段进行,首先通过a=b+w1x1+w2x2计原创 2020-07-24 10:24:13 · 1066 阅读 · 1 评论 -
感知机算法基础
1、感知机:接收多个输入信号(可想象成具备流动性的东西)并输出一个信号,像电流流过导线向前方输送电子一样,感知机的信号也会形成流,向前方输送信息,取值为1/0,分别对应传递信号/不传递信号。2、神经元激活:对于接收两个输入信号的感知机,x1,x2是输入信号,y是输出信号,w1、w2是权重,○称为神经元或节点,当输入信号被送往神经元时,会被分别乘以固定的权值(w1x1,w2x2),权重越大,对应该权重的信号的重要性就越高,神经元会计算传送来的信号总和,当总和超过某个阈值(界限值,记作Θ)时,才会输出1。运原创 2020-07-17 11:27:39 · 491 阅读 · 0 评论 -
Python之深度学习入门
1、Python语言的特点:是一个简单、易读、易记的编程语言,而且是开源的,可以自由使用,可以用类似英语的语法编写程序,编译起来并不费力,此外,Python不仅可以写出可读性高的代码,还可以写出性能高(处理速度快)的代码,在需要处理大规模数据或者要求快速响应的情况下可以稳妥完成。2、学习深度学习主要使用的外部库是NumPy库(用于数值计算的库,提供了很多高级的数学算法和便利的数组、矩阵操作方法)和Matplotlib库(用于画图的库,能将实验结果可视化,并在视觉上确认深度学习运行期间的数据),可以有效地促原创 2020-07-15 11:21:11 · 1676 阅读 · 0 评论