![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Chihk-Anchor
这个作者很懒,什么都没留下…
展开
-
机器学习(一):监督学习、损失函数与风险函数、 经验风险最小化与结构风险最小化
统计学习也称为统计机器学习,希尔伯特·西蒙对学习的定义:如果一个系统能过通过执行某个过程改进它的性能,这就是学习。统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。统计学习包括监督学习、非监督学习、半监督学习及强化学习监督学习的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测基本概念输入空间、特征空间、输出空间在监督学习中将输入与...原创 2019-04-08 09:08:32 · 2085 阅读 · 0 评论 -
机器学习(二):模型评估与模型选择、正则化与交叉验证、L0,L1,L2正则化、泛化能力
训练误差与测试误差机器学习的目的是使学习到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。不同的学习方法会给出不同的模型。当损失函数给定时, 基于损失函数的模型的训练误差(training error) 和模型的测试误差(test error) 就自然成为学习方法评估的标准。机器学习方法具体采用的损失函数未必是评估时使用的损失函数。 当然, 让两者一致是比较理想的。训练误...原创 2019-04-09 08:42:44 · 1291 阅读 · 0 评论 -
机器学习(六):最大似然估计、参数估计
最大似然估计,通俗说,利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值似然也是用于表征概率的,只不过这个概率是我们已经知道事件的结果,而去反推事件发生环境的参数的概率,我们认为事件是在最可能发生该事件的环境参数下发生的,有点绕举个例子:抛硬币,假设我们随机抛掷一枚硬币1,000次,结果500次人头朝上,500次数字朝上,不管怎样,我们现在就是有着这么一个perfect结果,...原创 2019-04-14 09:03:15 · 2362 阅读 · 2 评论 -
机器学习(三):生成模型与判别模型、准确率,召回率,F值
生成模型与判别模型监督学习方法分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型。生成方法由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:这样的方法之所以称为生成方法,是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有:朴素贝叶斯法和隐马尔科夫模型。 判别方法由数据直接学习决策函数或者条件概率分布作为...原创 2019-04-10 08:59:24 · 1128 阅读 · 0 评论 -
机器学习(四):感知机、感知机学习算法、学习算法的对偶形式
感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。它是神经网络与支持向量机的基础。感知机模型假设输入空间(特征空间)是x∈Rn,输出空间是y={+1,-1}。输入是实例的特征向量,对应于输入空间的点;输出是实例的...原创 2019-04-11 09:21:09 · 817 阅读 · 0 评论 -
机器学习(五):朴素贝叶斯法
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都和高,是一种常用的方法。什么是条件概率?所谓"条件概率"(Conditional probability),就是指在事件B发生的情况下,事件A发生的概...原创 2019-04-12 10:22:30 · 581 阅读 · 0 评论 -
机器学习(七):逻辑斯蒂回归
逻辑斯蒂回归是机器学习中经典的分类方法逻辑斯蒂分布设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数:其中,μ为位置参数,σ>0为形状参数曲线在中心附近增长速度较快,在两端增长速度较慢,形状参数σ的值越小,曲线在中心附近增长的越快二项逻辑斯蒂回归模型二项逻辑斯蒂回归模型是如下的条件概率分布:是输入,是输出,w,b是参数,w称为权...原创 2019-04-16 11:16:06 · 711 阅读 · 0 评论 -
机器学习(八):最大熵模型
最大熵原理最大熵原理认为,学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合,最大熵原理可以表述为在满足约束条件的模型集合中选取熵最大的模型假设离散随机变量X的概率分布式P(X),其熵为:熵满足下列不等式:其中,|x|是x的取值个数,当且仅当x的分布式均匀分布时右边的等号成立。i.e. 当X服从均匀分布时,熵最大直...原创 2019-04-23 22:35:15 · 1536 阅读 · 2 评论