mrdonghe的博客

来源知乎一阶导数、雅可比矩阵：曲线随输入的变化率。 二阶导数、海森矩阵：可以看做是曲线斜率随输入的变化，是一种对曲线曲率的测量。我们机器学习的目标常常是使某个目标函数(objective function)或损失函数(cost function)尽量小，即找到一个。对于有的问题我们可能可以得到解析解，但对于大多数问题，我们可能无法得到解析解，这时候就需要一些数值计算的方法使我们逐渐逼近...

来源知乎一.训练误差与泛化误差训练机器学习模型的目的不仅仅是可以描述已有的数据，而且是对未知的新数据也可以做出较好的推测，这种推广到新数据的能力称作泛化(generalization)。我们称在训练集上的误差为训练误差(training error)，而在新的数据上的误差的期望称为泛化误差(generalization error)或测试误差(test error)。通常我们用测试集上...

来源知乎一.机器学习三要素什么是机器学习问题，花书的定义是给计算机程序一些定义好的任务T(Task)和性能指标P(Performance measure)，以及一些已有经验或数据集E(Experience)，如果提供给机器更多的经验E，它能够对于任务T提升其性能指标P。下面我们分别总结一下任务，性能指标和经验通常都有哪些类型。1.任务在机器学习系统中，任务常常是通过已有的一些例子(...

来源：知乎前馈神经网络（Deep feedforward network)可以说是深度学习最核心的模型之一。前馈神经网络的目的是对于输入，假设我们要模拟从输入到输出的真实函数，神经网络想要找到这样的映射和合适的参数使得其预测尽量接近于真实函数。一.解释前馈神经网络下面分别解释一下前馈，神经，和网络三个词的含义。1.前馈前馈代表了所有的信息都从输入经过某些中间的计算而最...

竞争学习是自组织网络中最常采用的一种学习策略。一.基本概念先说明几个重要的概念。1. 模式、分类、聚类与相似性（1）模式在神经网络应用中，输入样本、输入模式和输入模式样本这样的术语基本上是等同的概念。在涉及识别、分类问题时，常用到输入模式的概念。模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合。（2）分类、聚类分类是在类别知识等导师信号的...

一提到人工神经网络应当想到三个基础的知识点：一是神经元模型 二是神经网络结构 三是学习算法对应决定人工神经网络整体性能的三大要素：神经元的信息处理特性是 神经网络的拓扑结构 神经网络的学习方式神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。一.神经元模型人工神经网络...