机器学习和深度学习
文章平均质量分 95
Maples丶丶
Be quiet, be curious and be stronger.
展开
-
详解神经网络的前向传播和反向传播(从头推导)
详解神经网络的前向传播和反向传播本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读,有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。 对神经网络有些了解的人可能都知道,神经网络其实就是一个输入XXX到输出YYY的映射函数:f(X)=Yf(X)=Yf(X)=Y,函...原创 2018-08-06 17:12:35 · 102135 阅读 · 20 评论 -
LDA原理小结
线性判别分析(Linear Discrimination Analysis,LDA)是一种经典的线性学习方法。它既可以用于分类,又可以作为一种降维方法。1. LDA的基本思想 LDA基本思想比较简单:给定带有标签的训练样本集,设法将样本投影到一条直线上,使得同类样本的投影点尽可能近,异类样本的投影点尽可能远。如果是进行分类,将新样本投影到同样的这条直线上,根据投影点的位置来确定新样本...原创 2018-09-05 12:48:22 · 13110 阅读 · 2 评论 -
PCA原理小结
主成分分析(Principal Component Analysis,PCA)是最常用的一种数据降维方法。顾名思义,PCA就是找出原始数据中最主要的方面来表示原始数据,可以获得比原始输入维度更低的表示。具体来说,假设原始数据X={x(1),x(2),…,x(m)}X={x(1),x(2),…,x(m)}X=\{x^{(1)},x^{(2)},\dots,x^{(m)}\},x(i)x(i)x^...原创 2018-08-29 11:03:25 · 3338 阅读 · 1 评论 -
支持向量机原理小结(3)——核方法和非线性支持向量机
前面两篇博客对线性支持向量机进行了详细的讲解,但线性SVM对于非线性的数据是无可奈何的。这篇博客将讲一下非线性支持向量机。1. 核方法 对SVM有过一定耳闻的人,一定听说过“核技巧”、“核方法”这些名词,其实核方法并不是只能应用于SVM,还可以应用于其他地方。现在就来讲讲核方法是如何处理非线性数据的。 假设给定如下数据(上面左图),显然我们没法用一条直线将′∘′′∘′'\c...原创 2018-08-21 13:52:36 · 3558 阅读 · 0 评论 -
支持向量机原理小结(2)——线性可分支持向量机和软间隔最大化
在上一篇博客《线性可分支持向量机和软间隔最大化》中对严格线性可分的SVM进行了推导,最后提到了线性可分支持向量机对于非线性的数据集也是没有办法使用的,这是因为有时候少量异常点引入了非线性,本篇博客就来讲讲如何应对这些异常点。硬间隔最大化存在的问题 所谓“硬间隔”,就是不允许样本点出现在两条间隔边界(下图中虚线)之间,在不考虑对输入数据进行其他特征映射的条件下,只有严格可分的线性数据集...原创 2018-08-20 13:03:08 · 719 阅读 · 0 评论 -
支持向量机原理小结(1)——线性可分支持向量机和硬间隔最大化
支持向量机(SVM)是一种二分类模型,它的思想和感知机很相似,也是在空间中找到一个超平面将正负样本点分开,也可以说SVM是在感知机基础上发展来的。所以在讲完感知机之后马上开始讲支持向量机。1. 从感知机到支持向量机 感知机和支持向量机都是期望从空间中找到一个合适的分离超平面将两类数据正确分开。一般地,当训练数据集线性可分时,这样的超平面有无数多个。感知机利用所有误分类点到超平面总距离...原创 2018-08-18 22:27:44 · 1655 阅读 · 0 评论 -
深度学习中的优化困难
在讲深度学习中优化算法之前,我想有必要对模型优化中常见的挑战有一个总览式的了解,这对于优化算法的理解还是有颇有裨益的。本篇博客是基于古德费洛的《Deep Learing》第8章和杨云的《深度学习实战》第五章总结归纳的。学习和纯优化 机器学习中的优化过程也被称为是“学习”过程,它关注这样一类问题:寻找模型的一组参数θθ\theta,它能显著地降低代价函数J(θ)J(θ)J(\theta...原创 2018-08-13 22:28:14 · 1639 阅读 · 0 评论 -
浅谈机器学习中的过拟合
本篇博客主要是基于花书(古德费洛的《Deep Learning》)和西瓜书(周志华的《机器学习》)撰写的,其中插入了博主的一些个人见解,如有不对之处希望大家指出来一起来讨论一下嘿嘿,万分感谢。什么是一个好的机器学习算法? 我想我们可以先从这个问题开始:一个机器学习算法满足什么条件才能被称得上是一个好算法? 机器学习的主要挑战是我们的算法必须能够在先前未观测到的新输入上表现良好,...原创 2018-08-08 14:58:27 · 16342 阅读 · 3 评论 -
感知机原理小结
感知机由Rosenblatt于1957年提出,是神经网络和支持向量机的基础。这里先简单介绍一下什么是感知机。本篇博客为《统计学方法》第二章和博客《感知机原理小结》的总结。感知机模型 感知机是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,分别取+1+1+1和−1−1-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。这还是很...原创 2018-08-18 00:43:05 · 2455 阅读 · 0 评论 -
深度学习中优化算法小结
终于可以开始讲优化算法了(写博客真是太花时间了,不过对于自我总结还是很有帮助的),本篇博客主要参照《Deep Learing》第8章,《深度学习实战》第5章以及清华博士大佬的一篇知乎文章《一个框架看懂优化算法》。 首先,我们先回顾一下优化算法的发展历程:SDG→→\rightarrowSGDM→→\rightarrowNAG→→\rightarrowAdaGrad→→\rightarro...原创 2018-08-15 16:08:40 · 2649 阅读 · 0 评论 -
小结深度学习中的正则化(超详细分析)
回顾过拟合 上一篇博客《浅谈机器学习中的过拟合》对过拟合进行了比较详细的分析。过拟合是指学习时选择的模型所包含的参数过多,以至于出现这一模型对已知数据预测的很好,但对未知数据预测的很差的现象。过拟合的是由数据和模型两方面原因共同造成的,最直接防止过拟合的方法是无限增大训练集的大小,让训练集样本与真实数据分布尽可能接近,但这么做实在是不太现实,一是我们根本无从知晓数据真实分布是什么样,二来增加...原创 2018-08-12 13:52:01 · 20944 阅读 · 6 评论 -
卷积神经网络CNN的反向传播原理
上一篇博客《详解神经网络的前向传播和反向传播》推导了普通神经网络(多层感知器)的反向传播过程,这篇博客则讨论一下卷积神经网络中反向传播的不同之处。先简单回顾一下普通神经网络中反向传播的四个核心公式:...原创 2018-08-07 17:46:57 · 36307 阅读 · 13 评论 -
最大熵模型原理小结
最大熵模型(Maximum Entropy Model)是一种很经典的分类算法,理解它有助于加深我们对逻辑回归、支持向量机、决策树等算法的理解。最大熵模型是将最大熵原理应用到分类任务得到的模型。在解释最大熵原理和最大熵模型之前,先简单对熵的概念进行一下回顾。1. 熵 信息论的基本想法是发生一个不太可能发生的事件比发生一个非常可能发生的事件能提供更多的信息。比如说,“今天早上太阳升起”...原创 2018-09-10 14:45:43 · 5256 阅读 · 0 评论