法
无峥
这个作者很懒,什么都没留下…
展开
-
SVM
支持向量机被认为是机器学习里面最复杂的算法之一,个人感觉是其数学推导以及运行机制多而杂。今天刚刚学习完基础的理论推导,写一个笔记作为备忘:支持向量机用到的数学知识支持向量机要解决的问题距离与数据的定义构造求解目标函数支持向量的作用精度改进核变换支持向量机用到的数学知识点到平面的距离公式拉格朗日乘数法点到平面的距离公式 中学阶段学习过相关的知识,现在的应用只不过是把原来的二维推原创 2017-11-18 11:22:17 · 551 阅读 · 0 评论 -
深入理解正则化
综述    刚开始接触机器学习就提到了正则化,一直没有把里面东西搞清楚。今天决定写一篇关于正则化的文章将里面的问题讲讲清楚。从多种角度认识正则化正则化的作用正则化作用补充正则化参数选择从多种角度认识正则化1、贝叶斯角度的正则化  原创 2018-09-05 21:58:47 · 3861 阅读 · 0 评论 -
SVR-支持向量机的回归应用
支持向量机的回归应用本文的思想延续自 基于核方法的支持向量机的思想 ,感兴趣的同学可以移步。 本文的公式推导核部分图片截取自PRML,在此表示感谢!综述目标函数确定增加松弛变量求解总结综述    在线性回归模型中我们最小一个正则化的误差函数来求解参数得到一个拟合的回归方程。12∑n=1N{yn−tn}2−λ2∥w∥212∑n...原创 2018-08-31 09:26:17 · 6818 阅读 · 4 评论 -
神经网络小白篇
综述刚刚开始接触深度学习,先搭框架再不断的丰富起来是我一贯的习惯。本文主要讲解神经网络的模型并拿出特例来讲解。不过真是醉了,一些教育机构出的视频真是五花八门刚开始还真信了他们的。白白浪费我的时间。神经元模型如上图所示就是我们常见的神经元结构。其中:‘x’代表从上一个节点传输过来的数据。‘w’是该条连接的权重值。‘b’是偏置值。’activation’是激活函数。’h’是这个神经元的输出结果。向前传播转载 2018-03-22 09:28:16 · 560 阅读 · 0 评论 -
神经网络VD问题
综述随着神经网络每层的学习速度其实是不一样的,并且随着层数增加这个问题就越来越明显。一般来说,接近输出层学习速率快,前面的层数学习慢,并随着层数增加学习越来越慢。这种情况我们称为梯度消失(vanishing gradient problem)。下面我们就来分析一下为什么会出现这种情况,并给出解决方案。理论推导若有一个神经网络如下:神经网络有6层,其中每层都有一个神经元。要想知道为什么层数增加训练的越原创 2018-03-31 21:52:32 · 618 阅读 · 0 评论 -
神经网络改进篇
综述前文“神经网络小白篇”已经研究了神经网络的基本结构和运算过程。下面我们来考虑两个问题提升训练速度和过拟合。首先我们来看一下第一个问题。如何提升神经网络的训练速度要提升训练速度我们得先来看看神经网络的训练速度与什么有关。首先回顾一下上文阐述的几个公式和模型:上图给出的结构和公式仍然是上一篇的结构。我们观察一下对w和b偏导结构。根据渐进思想,发现用来衡量学习速度的是在z的条件下激活函数的梯度值。插播原创 2018-03-27 11:03:12 · 3005 阅读 · 0 评论 -
卷积神经网络
综述前面已经分析了神经网络基本原理和优化技巧。从这篇文章开始进入深度学习的分析。神经网络我们可以看做是多条线性方程的叠加来分类复杂样本,在激活函数的作用下可以更好的分类出复杂的样本。深度学习来自于普通的神经网络,其基本运算还是遵循神经网络的理论的。下面就先来看一下人人都在说的卷积神经网络是怎么回事。卷积神经网络在图像的识别方面表现的很是强大。卷积运算卷积运算与普通的加减运算是类似的。卷积运算时两个函原创 2018-04-06 21:45:58 · 594 阅读 · 0 评论 -
集成算法
集成算法(ensemble learning)工程中我们进行训练时为了提高算法的可信度可能会有以下常用的方法:使用多个分类器,这些分类器产生多个结果然后进行投票少数服从多数,当然我们也可以产生一个score值对这些值求平均,然后根据设定的阈值判断其分类。对于特征明显的可以抽取出不同的特征分别训练,然后综合给出结果使用集成算法。例如在人脸识别中我们先训练分类器C1分类正脸的,再把样本中原创 2017-10-29 14:56:10 · 1223 阅读 · 0 评论 -
DesignTree算法实现与使用
决策树算法的使用、决策树可视化展示、决策树参数的自动化选择%matplotlib inlineimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn.datasets.california_housing import fetch_california_housinghousing = fetch_california_hous原创 2018-01-14 16:01:35 · 1765 阅读 · 0 评论 -
LogisticsRegression
http://blog.csdn.net/pakko/article/details/37878837转载 2017-12-25 21:57:00 · 195 阅读 · 0 评论 -
梯度下降
http://blog.csdn.net/tangyudi/article/details/77769045转载 2017-12-25 21:54:57 · 122 阅读 · 0 评论 -
LinearRegression
http://blog.csdn.net/tangyudi/article/details/77711981http://blog.csdn.net/WOJIAOSUSU/article/details/60470100转载 2017-12-25 21:50:51 · 141 阅读 · 0 评论 -
贝叶斯
贝叶斯算法解决的是逆向概率的问题。 那么什么正向概率和逆向概率呢?正向概率:一个袋子里有黑球十个,白球三个。从袋子里面抓取一个球,问抓到黑球的概率多少?逆向概率:如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可 以就此对袋子里面的黑白球的比例作出什么样的推测。 所以自然界有好多问题难以解决的,贝叶斯解决的就是逆概问题。下面用转载 2017-11-09 15:22:01 · 270 阅读 · 0 评论 -
聚类
基本分类方法概述- 划分方法 - 基于密度的方法 - 层次方法 - 基于网格的办法划分方法划分方法简单来说就是直接在数据层面上对数据进行分组。每一组称为一簇,各个簇间相斥划分。大部分的划分方法都是基于距离来划分的。 如果我们单纯的迭代所有的点,这个计算量是非常大的。所以我们在计算的时候使用了启发式的方法,基于启发式方法。我们有K-均值和K-中心点算法。下面我们来分析一下这两种算法。1.原创 2017-11-22 15:27:23 · 729 阅读 · 0 评论 -
提升方法
提升方法是机器学习中一个非常重要的分支,学习的基础包括决策树、梯度下降等多个知识点。在学习的过程中,参考了许多重要的资料,在此表示感谢。本文主要依托于博客提升方法合集,这篇博客对提升的算法的内容总结的十分地道。本文主要对博客做一些注释和自己在学习中的感受记录一下。 首先推荐几篇在学习中搜集到的优秀的资料: explain gradient Boostin...原创 2017-10-28 13:08:41 · 624 阅读 · 0 评论 -
优秀算法博客汇总
决策树 - 参考:decision Tree(Python 实现)http://blog.csdn.net/dream_angel_z/article/details/45965463SVM 支持向量机 - 参考:pluskid 支持向量机三重境界http://blog.pluskid.org/?page_id=683Adaboost - 参考:组合算法 - Adaboost...原创 2018-10-13 21:27:58 · 1486 阅读 · 0 评论