统计(机器)学习
文章平均质量分 57
小灰兔呼噜噜
每天多学习一点,生活更多彩一些
展开
-
第一章 统计学习方法概论 —— 第1~3节 统计学习及监督学习的简介、损失函数及风险函数的公式化表达
关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。所有章节的符号表示、公式表示都是统一化的。第一章 统计学习方法概论第一节 统计学习一、概念所谓统计学习,指的是基于已知数据构建统计模型,从而对未知数据进行预测。二、分类监督学习(supervised)、半监督学习(semi-supervised)、非监督学习(unsupervised)和强化学习原创 2015-03-23 20:02:36 · 1904 阅读 · 0 评论 -
第1章 统计学习方法概论——第7节 生成模型与判决模型
关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。第一章 统计学习方法概论第7节 生成模型与判决模型监督学习学到的模型又可以划分为生成模型(generative model)和判决模型(discriminative model)。一、生成模型:生成方法由数据学习联合概率分布P(X, Y),然后求出原创 2015-03-25 14:30:02 · 1077 阅读 · 0 评论 -
第1章 统计学习方法概论——第8~10节 分类、标注、回归问题
关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。第一章 统计学习方法概论第8~10节 分类、标注、回归问题一、回归问题:等价于函数拟合:选择一条函数曲线使其很好地拟合已知数据。回归问题最常用的损失函数是平方损失函数,这种情况下,可以由著名的最小二乘法(least squares)来求解;原创 2015-03-25 14:59:53 · 1178 阅读 · 0 评论 -
随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
原帖地址请戳这里梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。下面的h(x)是要拟合的函数,J(theta)损失函数,theta是参数,要迭代求解的值,theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是转载 2015-03-30 17:01:36 · 574 阅读 · 0 评论 -
第1章 统计学习方法概论——第4~6节 模型选择、正则化和交叉验证、泛化能力
关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。第一章 统计学习方法概论第4节 过拟合与模型选择第5节 正则化和交叉验证第6节 泛化能力原创 2015-03-25 11:02:38 · 1488 阅读 · 0 评论 -
NP问题和计算复杂度
最近看书,多次看到NP问题,就简单研究了下到底什么是NP问题。参考《数学之美》一书的附录一、计算复杂度我们知道,计算机中的算法复杂度,定义为只和问题规模N有关,即计算复杂度是N的一个函数 f(N)。如果计算复杂度只相差一个常数因子,则认为复杂度是同一数量级的,是相同的,即 f(N) = Nlog(N) 和 g(N) = 100Nlog(N) 的复杂度是相同的。所以我们干脆引原创 2015-04-15 11:31:45 · 5065 阅读 · 0 评论 -
第2章 感知机
关于统计学习方法的知识,参考书《统计学习方法》,李航著,清华大学出版社。第2章 感知机第1节 感知机模型的概念第2节 感知机的学习策略(或损失函数/目标函数)第3节 感知机学习的原始形式与对偶形式第1节 感知机模型的概念感知机(perceptron)是二类分类的线性分类模型,输出为+1和-1。感知机对应于将输入空间(特征空间)中的实例划分为正负两类的分离超平原创 2015-04-07 17:25:12 · 1077 阅读 · 2 评论 -
mean-shift算法
原理介绍:博客:http://www.chioka.in/meanshift-algorithm-for-the-rest-of-us-python/scikit-learn官网:https://scikit-learn.org/stable/modules/clustering.html#mean-shift源码解析:https://blog.csdn.net/jiaqiang...原创 2019-04-04 00:49:33 · 495 阅读 · 1 评论