机器学习与深度学习
章小幽
这个作者很懒,什么都没留下…
展开
-
机器学习笔记——决策树
一,基本流程决策树学习基本算法:决策树的生成是一个递归过程,有三种情形会导致递归返回:1,当前结点包含的样本全属于同一类别,无需划分;2,当前属性集为空,或是所有样本在所有属性上取值相同,无法划分;(后验)3,当前结点包含的样本集合为空,不能划分。(先验)二,划分选择决策树学习的关键是如何选择最优划分属性。2.1 信息增益(ID3)信息熵:假定当前样本集合D...原创 2018-08-28 20:37:56 · 468 阅读 · 0 评论 -
《统计学习方法》笔记——5.5.2CART剪枝
在看《统计学习方法》里的 5.5.2 CART剪枝 时,书中有一句话让我很迷惑——g(t)表示剪枝后整体损失函数减少的程度,在T0中剪去g(t)最小的Tt,将得到的子树作为T1,同时将最小的g(t)设为a1,T1为区间[a1,a2)的最优子树。第一,为什么g(t)表示剪枝后整体损失函数减少的程度?第二,为什么在T0中剪去g(t)最小的Tt?在网上查找了大量资料后,发现有此疑惑的人不...原创 2019-03-06 22:23:14 · 442 阅读 · 0 评论 -
《统计学习方法》笔记——6.13模型参数估计
《统计学习方法》中的 6.1.3 模型参数估计 一节中讲到在逻辑斯谛回归模型学习时,可以应用极大似然估计法估计模型参数,从而得到逻辑斯谛回归模型。那么问题来了,如何应用极大似然估计法估计模型参数呢?为了搞清楚这个问题,首先要知道似然函数是什么?这里维基百科给出的描述如下:总结起来就是:已知有事件A发生(即6.13节中给定的训练数据集T),运用似然函数L(B|A)估计参数B。通常...原创 2019-03-06 20:43:37 · 481 阅读 · 0 评论 -
《统计学习方法》笔记——感知机学习算法的对偶形式
自我感觉《统计学习方法》上关于感知机学习算法的对偶形式讲解不是很清楚,于是查找了其他资料,并对其作如下整理:1,与原始形式相比,对偶形式的改变在于学习目标由w,b变为ni !2,《统计学习方法》里对于参数的更新为a1 <-- ai + 步长,b <-- b + yi * 步长,前式可以理解为a1 <-- ai + 步长 * 1,1代表本次随机梯度下降算法对第i个实例更新次...原创 2019-03-01 15:13:50 · 631 阅读 · 0 评论 -
深度学习笔记——长短时记忆网络
代码参考了零基础入门深度学习(6) - 长短时记忆网络(LSTM)这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于LSTM的原理以及代码里不清楚的地方可以结合该文章理解,十分浅显易懂。import numpy as npclass SigmoidActivator(): def forward(self,weighted_input): return 1 ...原创 2018-11-02 11:21:01 · 393 阅读 · 0 评论 -
深度学习笔记——循环神经网络
我又来搬运啦。代码参考了零基础入门深度学习(5) - 循环神经网络这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于循环神经网络的原理以及代码里不清楚的地方可以结合该文章理解,十分浅显易懂。import numpy as npfrom functools import reducefrom DL.cnn import ReluActivator,IdentityActivato...原创 2018-11-02 11:17:47 · 531 阅读 · 1 评论 -
深度学习笔记——卷积神经网络
代码参考了零基础入门深度学习(4) - 卷积神经网络这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于卷积神经网络的原理以及代码里不清楚的地方可以结合该文章理解,十分浅显易懂。import numpy as npfrom functools import reducefrom DL.cnn import ReluActivator,IdentityActivator,eleme...原创 2018-11-02 11:10:57 · 600 阅读 · 2 评论 -
深度学习笔记——神经网络和反向传播算法
我又来搬运啦。代码参考了零基础入门深度学习(3) - 神经网络和反向传播算法这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于神经网络和反向传播算法的原理以及代码里不清楚的地方可以结合该文章理解,十分浅显易懂。非向量化编程:import randomimport mathimport structfrom functools import reducefrom da...原创 2018-11-02 11:07:09 · 849 阅读 · 0 评论 -
深度学习笔记——线性单元和梯度下降
代码参考了零基础入门深度学习(2) - 线性单元和梯度下降这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于线性单元的原理以及代码里不清楚的地方可以结合该文章理解,十分浅显易懂。from DL.perceptron import Perceptron# 定义激活函数ff = lambda x:xclass LinearUnit(Perceptron): def __...原创 2018-11-02 11:00:37 · 322 阅读 · 1 评论 -
深度学习笔记——感知机
代码参考了零基础入门深度学习(1) - 感知器这篇文章,我只对代码里可能存在的一些小错误进行了更改。至于感知机的原理以及代码里不清楚的地方可以结合该文章理解。from functools import reduceclass Perceptron: def __init__(self,input_num,activator): ''' para...原创 2018-11-02 10:51:07 · 198 阅读 · 0 评论 -
机器学习笔记——特征选择
常见的特征选择方法大致可分为三类:过滤式:过滤式方法先对数据集进行特征选择,然后再训练学习器,特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行“过滤”,再用过滤后的特征来训练模型。包裹式:包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价标准。换言之,包裹式特征选择的目的就是为给定学习器选择最有利于其性能,量身定做的特征子集。嵌入式特征选择是将特征选择...原创 2018-10-08 17:35:54 · 779 阅读 · 0 评论 -
机器学习笔记——集成学习
一,个体与集成集成学习通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统,基于委员会的学习。其一般结构是先产生一组“个体学习器”,再用某种策略将它们结合起来。如下图:集成学习研究的核心是如何产生并结合“好而不同”的个体学习器。根据个体学习器的生成方式,集成学习方法可分为两大类:一是个体学习器间存在强依赖关系,必须串行生成的序列化方法:Boosting二是个...原创 2018-09-20 11:01:30 · 412 阅读 · 0 评论 -
机器学习笔记——线性模型
一,基本形式给定由d个属性描述的示例x = (x1;x2;...;xd),线性模型试图学得一个通过属性的线性组合来进行预测的函数:向量形式写成:其中,w = (w1;w2;...;wd)。二,线性回归对于输入的属性数目只有一个的简单情形,线性回归试图学得:我们使用最小二乘法来求解w,b,即使用均方误差最小化来进行模型求解:求解w,b的过程称为线性回归模型...原创 2018-09-13 16:23:07 · 192 阅读 · 0 评论 -
机器学习笔记——支持向量机
一,线性可分支持向量机与硬间隔最大化1.1 间隔与支持向量在样本空间中,划分超平面可通过如下线性方程来描述:其中,w = (w1;w2;...;wd)为法向量,决定了超平面的方向;b为位移项,决定了超平面与原点之间的距离。我们将超平面记为(w,b).样本空间中任意点x到平面(w,b)的距离可写为:假设超平面(w,b)能将训练样本正确分类,则有:如下图所示,距离超...原创 2018-09-19 11:12:25 · 786 阅读 · 0 评论 -
机器学习笔记——贝叶斯分类器
一,贝叶斯最优分类器期望损失(条件风险):假设有N种可能的类别标记,即y = {c1,c2,...,cN},λij是将一个真实标记为cj的样本误分类为ci所产生的损失。将样本x分类ci所产生的期望损失为:我们的任务是寻找一个假设h,以最小化总体风险:贝叶斯判定准则:为最小化总体风险,只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记,即:此时,h*称为贝叶斯...原创 2018-09-17 19:56:55 · 460 阅读 · 0 评论 -
机器学习笔记——假设空间与归纳偏好
一,假设空间学习过程是一个在所有假设组成的空间,即假设空间中进行搜索的过程。搜索目标是找到与训练集“匹配”的假设。举个例子:这里要学习的目标是“好瓜”。暂且假设“好瓜”可由色泽,根蒂,敲声这三个因素完全确定。于是,我们学得的将是“好瓜是某种色泽,某种根蒂,某种敲声的瓜”这样的概念。图1.1直观地显示出了这个西瓜问题的假设空间。需要注意的是,现实问题中我们常面临很大的假设空间...原创 2018-09-12 17:28:43 · 1338 阅读 · 0 评论 -
《统计学习方法》笔记——7.1.3 间隔最大化
式子7.11,7.12与线性可分支持向量机的最优化问题7.13,7.14的差别在于函数间隔γ^值的确定,原文在确定γ^时这样描述:函数间隔γ^的取值并不影响最优化问题的解。事实上,假设将w和b按比例改变为λw和λb,这时函数间隔成为λγ^。函数间隔的这一改变对上面最优化问题的不等式约束没有影响,对目标函数的优化也没有影响,也就是说,它产生一个等价的最优化问题。此时产生一个疑问 :为...原创 2019-03-14 11:01:01 · 374 阅读 · 0 评论