- 博客(10)
- 收藏
- 关注
RSS订阅
原创 深度学习之学习笔记（一）—— 序篇
1—序篇2—AI / ML / DL的基本概念3—神经元的工作原理4—感知机——神经网络的雏形5—神经网络的学习（训练）6—激活函数7—损失函数8—梯度下降法9—误差反向传播法10—与学习(训练)相关的技巧11—卷积神经网络12—深度学习的其他类型
2020-01-24 10:56:40
2080
原创 深度学习之学习笔记（五）—— 神经网络的学习（训练）
神经网络的学习（训练）"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应" [Kohonen, 1988]回顾神经元模型根据第三章介绍的M-P神经元模型，我们有其中，为激活函数。神经网络的学习（训练）过程（）神经网络的学习（训练）过程就是找到一个合适函数的过程，对下面具体的...
2020-02-05 15:49:40
2291
原创 深度学习之学习笔记（九）—— 误差反向传播法
权重(和偏置)微小变化的传播，会最终传播影响到输出层。实际上，反向传播算法就是追踪权重(和偏置)的这种微小的变化是如何影响到损失函数的技术。反向传播算法的特点是效率高。反向传播可以同时计算所有的偏导数，仅仅使用一次前向传播，加上一次后向传播。假设对一个节点求偏导需要的时间为单位时间，运算时间呈线性关系，那么网络的时间复杂度如下式所示：O(Network Size)=O(V+E)，V为节点数、E为连接边数。为了提高反向传播算法的效率，我们通过高度并行的向量，利用GPU进行计算。
2020-01-31 22:52:33
3667
3
原创 深度学习之学习笔记（八）—— 梯度下降法
梯度下降法（Gradient Descent）通过第五章《神经网络的学习（训练）》和第七章《损失函数》的介绍，我们已经知道，神经网络通过不断迭代在学习时寻找最优参数（权重和偏置）。这里所说的最优参数是指损失函数取最小值时的参数。但是一般而言，损失函数很复杂，参数空间很庞大，很难采用数学方程方法来直接求解损失函数的最小值，而是采用极限无限逼近的方法（也就是我们所说的梯度下降法）。假设：位于三...
2020-01-30 20:47:48
4017
原创 深度学习之学习笔记（七）—— 损失函数
损失函数在第五章《神经网络的学习（训练）》中，我们介绍神经网络的训练过程中，需要不断对权重进行调整。调整权重的目的是为了得到一组最终权重，使得输入的特征数据的输出达到我们的期望值，也就是神经网络的实际输出值与期望输出值误差最小。那么问题来了：如何度量两组数据之间的差异？序号 实际输出值 期望输出值（Label） 1 数据a 数据b 2 323.1...
2020-01-28 22:29:40
4136
原创 深度学习之学习笔记（六）—— 激活函数
激活函数在第三章《神经元的工作原理》中，我们曾经提到过激活函数。当时使用的是最简单的阶跃函数作为激活函数。阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。Sigmoid函数的定义和图形如下：Sigmoid函数把可能在较大范围内变换的输入值挤压到(0,1)输出范围内，因此也称为“挤压函数”(Squashing function)。其中...
2020-01-27 21:04:52
1975
原创 深度学习之学习笔记（四）—— 感知机——神经网络的雏形
感知机感知机(Perceptron) 是神经网络的起源算法，由两层神经元组成，如下图所示，输入层接收外界输入信号后传递给输出层 输出层是M-P神经元在两个输入的情况下，感知机可以简化为如下形式：其中是被称为偏置的参数，用于控制神经元被激活的容易程度 和是表示各个信号的权重的参数，用于控制各个信号的重要性逻辑电路与感知机我们考虑用感知机来表示逻辑电路。简单逻...
2020-01-26 12:09:12
2660
原创 深度学习之学习笔记（三）—— 神经元的工作原理
神经元的工作原理大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。2019年8月，谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作，发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。果蝇的一个重要优势是它们的大小：果蝇的大脑相对较小，只有10万个神经元，相比之下，老鼠的大脑有1亿个神经元，人类的大脑有1000亿个神经元。研究人员称，由于成像的高分辨...
2020-01-25 23:37:06
13744
原创 深度学习之学习笔记（二）—— AI / ML / DL的基本概念
AI / ML / DL的基本概念人工智能（Artificial Intelligence）—— 是指是设计和构建智能代理，从环境中感知并采取行动，最大限度地提高实现目标的机会。但目前的科研工作都集中在弱人工智能这部分，强人工智能还遥遥无期。机器学习（Machine Learning）——使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬...
2020-01-24 16:24:59
2772
原创 实战：用Concourse实现端到端的蓝绿部署
Concourse简介Concourse是为执行敏捷开发并需要处理复杂交付排列的团队重新设计的CI工具，由Pivotal公司赞助开源，目前在市场上已经普遍使用。Concourse以pipeline机制运行集成任务。pipeline将Task、Resource、Job三者有机地结合起来，pipeline采用YAML文件配置，该配置可通过版本控制，方便移植和恢复。其Build构建在容器中运行，隔离各个...
2018-05-17 17:23:15
5116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人