- 博客(7)
- 收藏
- 关注
RSS订阅原创 机器学习基石四——学习的可能性
1 机器学习的目的机器学习的大多数情况下是让机器通过现有的训练集DDD的学习到一些技能，这些技能可以预测未知数据，即选择一个最佳的h做为学习结果，那么这种预测是可能的么？当然是可能，不过有一个前提，就是训练样本与样本总体同分布。假设我们又一个瓶子，里面有很多弹珠，其中有绿色和橙色弹珠，请问瓶中橙色弹珠的比例是多少？当然我们可以将瓶中的弹珠一颗颗取出来再计算橙色弹珠的比例，但是假设瓶子太大，弹珠太多，应该怎么办呢？这时候会考虑从瓶中随机抽样一部分弹珠，计算这部分弹珠中橙色弹珠的比例作为整体弹珠中橙色弹珠比
2020-07-06 15:52:35
276
原创 机器学习基石三——机器学习分类
1 机器学习问题的分类1）按照输出空间Y类型划分二分类、多分类、回归问题（y是连续的）、结构化学习（句法分析）注：每个单词的词性标注是一个多分类问题，但是对一句话里的每个词的词性标注并输出前后的关系，则是一个结构化学习问题。2）按照样本是否有标签y划分有监督学习（样本集有标签y）、无监督学习（样本集无标签y，聚类、密度分析、异常点检测）、半监督学习（一部分样本有标签，一部分样本无标签）、增强学习（一些行为反馈的奖励或者惩罚）监督学习和非监督学习很好理解也已经较为成熟，半监督学习和增强学习却是近些年
2020-07-05 22:47:48
90
原创 《机器学习基石》笔记一——机器学习简介
1.1 什么是机器学习？人类学习是从不断的观察获得经验的技能。机器学习是从数据出发，通过数学运算等方式获得经验增强的技能。1.2 什么时候可以用机器学习？1）存在一些内部的规则2）编程无法把这个规则定义出来3）有充足的数据1.3 基本符号输入样本空间：x∈Xx ∈ Xx∈X输出样本空间：y∈Yy ∈ Yy∈Y目标函数(要学习出的模式)：f:X⟶Yf: X \longrightarrow Yf:X⟶Y训练样本：D={(x1,y1),(x2,y2),(x3,y3),⋯,(xN,yN)}
2020-07-05 18:22:11
94
原创 《西瓜书》决策树部分公式推导
1、公式4.1注解熵是度量样本集合纯度最常用的一种指标，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。假定当前样本集合D中第kkk类样本所占的比例为pk(k=1,2,...,∣y∣)p_k(k =1,2,...,|y|)pk(k=1,2,...,∣y∣)，则DDD的信息熵为：Ent(D)=−∑k=1∣y∣pklog2pkEnt(D) =-\sum_...
2019-01-10 00:27:39
364
原创 算法梳理三：决策树
决策树是一种很简单的算法，它既可以作为分类算法也可以作为回归算法，但它更常见的是用于分类算法中。决策树可以看做是多组if-else规则的组合，所以它简单易懂解释性强容易实现且速度快，但是没有很强的理论保证，且易出现过拟合。决策树一般结构如下图所示：信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）是用来衡量一个系统混论程度的物理量，代表一个系统中蕴含多少信息量，信息量越大表明一个系统...
2018-12-14 23:12:04
165
原创 算法梳理二：逻辑回归
1. 逻辑回归原理逻辑回归，从名称上看是一种回归算法，但事实上是一种分类算法，逻辑回归是通过将线性回归预测的值通过一个sigmoid函数压缩到（0,1）的空间，在二分类问题中，样本类别是（0,1），逻辑回归预测的是一个样本标记为1的概率，样本对应输出一般是0或者1，这里一般会通过设定一个阈值来返回样本对应类别，若sigmoid函数输出的概率值大于阈值，那么对应输出为1，反之为0。2. 预测函数...
2018-12-12 19:55:49
355
原创 算法梳理第一期：线性回归
1、机器学习基本概念损失函数损失函数是针对一个样本计算该样本真实的yiy_iyi值与模型预测的值f(xi)f(x_i)f(xi)之间的误差。以线性回归为例，下面若未指明，都是以线性回归为例，损失函数L(yi,f(xi))=12(yi−f(xi))2L(y_i,f(x_i))=\dfrac12(y_i-f(x_i))^2L(yi,f(xi))=21(yi−f(xi))2代价函...
2018-12-09 23:02:09
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人