机器学习
文章平均质量分 83
Danliwoo
这个作者很懒,什么都没留下…
展开
-
先验概率、似然函数与后验概率
标签:机器学习先验概率 Prior probability在贝叶斯统计中,先验概率分布,即关于某个变量 p的概率分布,是在获得某些信息或者依据前,对 p的不确定性进行猜测。例如, p可以是抢火车票开始时,抢到某一车次的概率。这是对不确定性(而不是随机性)赋予一个量化的数值的表征,这个量化数值可以是一个参数,或者是一个潜在的变量。先验概率仅仅依赖于主观上的经验估计,也就是事先根据已有的知识的推断。在应转载 2016-10-11 17:11:17 · 901 阅读 · 0 评论 -
陆吾生讲座 最优化问题的数学基础
Ⅰ. Taylor expansion对于光滑函数可以进行泰勒展开。 任意函数只要可以求导,放大看它的局部必是高阶的多项式求和的形式,根据要求的拟合误差决定需要的阶数。One-variable casef(x+δ)=f(x)+f′(x)δ+12f′′(x)δ2+…f(x+\delta)=f(x)+f'(x)\delta+{1\over 2}f''(x)\delta^2+…Multi-variabl原创 2017-11-08 21:41:09 · 4549 阅读 · 3 评论 -
Multi-view Learning 多视角学习入门
Multi-view Learning 多视角学习入门标签:机器学习在上海呆了一年了,从啥都不会 到 啥都不会,还是要回归博客,做做小结整理整理…… 多视角学习是老板的拿手好戏,最近布置的任务也和多视角相关。经过老板的一番吐槽,在找论文时候要注意其上过哪些会议,比较好的会议上论文的质量较高。经过多方求助,入门可以从最精(xuan)华(xue)的综述开始看起。 Xu C,原创 2018-02-07 12:03:58 · 19089 阅读 · 3 评论 -
Backpropagation python代码详解
BackpropagationBackpropagation is a method used in artificial neural networks to calculate a gradient that is needed in the calculation of the weights to be used in the network. It is commonly used ...原创 2018-07-26 11:02:11 · 2157 阅读 · 0 评论 -
隐马尔可夫模型(HMM) python实现
学习目标:介绍HMM的定义与符号讨论HMM的三个基本问题 概率计算问题:前后向算法学习问题:Baum-Welch模型,EM算法计算参数预测问题:Viterbi算法每种算法用代码实现参考李航的《统计学习方法》(在这里吐槽一下HMM那章下标 iii 乱用,有些算法不是很ok)目录目录基本概念生成观测序列概率计算问题前向概率后向概率前后向算法有什么用...原创 2018-09-16 23:34:57 · 6792 阅读 · 3 评论 -
HMM 的应用之基因检测
这是一篇发布在 Nature 上面的文章,作为计算机研究僧,其实不怎么了解 Nature 那一套,然而这篇文章,仅仅是介绍什么叫 HMM ,就光荣发布了,当时距离 HMM 被提出应该也有十几二十年了吧,隔行如隔山,看来生物领域还是很需要计算机专业的人才。稍微扯一点,最近在看《未来简史》,作者在书中就有一个看法,以后人类的发展就要靠计算机和生物科学家,人脑是计算机,而计算机也是人脑。文章来自 ...原创 2018-10-08 21:20:00 · 2083 阅读 · 0 评论 -
GPDM for human motion
标签:机器学习原文为 Wang et al., 2008b J. M. Wang, D. J. Fleet, and A. Hertzmann. Gaussian process dynamical models for human motion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 30:283–398,原创 2017-04-25 10:16:44 · 1486 阅读 · 0 评论 -
Pattern Recognition and Machine Learning 第二章 概率分布
标签: 机器学习概率分布这章主要介绍一些常用的分布模型。 对于变量x的N次观测形成独立同分布的向量x⃗ =(x1,...,xN)\vec x=(x_1,...,x_N),以此对x做一个密度估计,求出p(x)p(x). 密度估计⎧⎩⎨⎪⎪⎪⎪参数方法⎧⎩⎨⎪⎪给出分布形式,通过最大似然、最大后验等调整参数大小(多为指数族分布) 离散变量:二项式、多项式分布 连续变量:Gauss分布非参原创 2016-12-30 22:25:09 · 1333 阅读 · 0 评论 -
ML入门小菜一枚
标签:机器学习早(zhong)上(wu)起床看了看视频,小结一发~机器学习是人工智能领域延伸出来的,作为一种工具可以和多学科交叉起来使用,常见的应用比如识别手写、自动飞行、医疗诊断、商品推荐等等。它用到的是一种学习型算法,需要的基本知识有线性代数、概统、数据结构和算法等。定义机器自动学习,无需直接的编程。 比如下棋时,总选择赢的概率大的局面。Sec 1. Supervised Learning 监原创 2016-10-03 12:18:35 · 1214 阅读 · 0 评论 -
交叉验证(Cross-validation)
标签: 机器学习概述交叉验证是一种用来评价一个统计分析的结果是否可以推广到一个独立的数据集上的技术。主要用于预测,即,想要估计一个预测模型的实际应用中的准确度。它是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析, 而其它子集则用来做后续对此分析的确认及验证。交叉验证的理论是由Seymour Geisser所开始的。 它对于防范testing hypotheses sug转载 2017-01-02 17:54:19 · 1341 阅读 · 0 评论 -
Pattern Recognition and Machine Learning 第三章 线性回归模型
标签: 机器学习线性回归模型线性,即关于参数的线性函数;回归,表示需要预测的量是连续的。建模后可以对任意未知的变量求出目标量,或者是目标的概率分布以表示结果的不确定性。线性基函数模型y(x⃗ ,w⃗ )=w0+∑wjϕj(x⃗ )y(\vec x, \vec w) = w_0 +\sum w_j \phi_j (\vec x)其中ϕj(x⃗ )\phi_j (\vec x)为基函数,参数w中有w0w原创 2017-01-02 17:54:48 · 1050 阅读 · 0 评论 -
Pattern Recognition and Machine Learning 第一章学习小记
标签: 机器学习一直没有勇气看这本书的英文,直到翻译了一篇论文以后,发现看英文其实只要抓关键词理解就可以明白个大概。再次感谢扇贝帮助我复习词汇,以及PRML中文翻译的PDF……前言第一章作为绪论部分,对机器学习需要的基础知识作了铺垫,从课后的习题来看,需要用到高等数学、数学分析、概率与统计等一大波数学知识,这本书在做题时会引导性地给出证明过程,很友好。 以这些知识为基础,主要介绍了概率论、决策论、原创 2016-12-13 23:32:38 · 2142 阅读 · 0 评论 -
一些数值计算的知识
标签:机器学习计算机进行计算时有几个问题:用理论上等价的算法,在实际计算中会产生误差。如何保证数值稳定性?数据量大难以计算?利用迭代算法了解并运用一些数学知识有助于更好地进行机器学习。正定矩阵 A是对称正定矩阵1,则AT=A,vTAv>0(v≠0)A^T = A,v^T Av > 0 (v \neq 0)性质:所有特征值大于0存在满秩矩阵X,A=XXTA=XX^T可作为高斯分布的原创 2017-01-03 12:05:37 · 980 阅读 · 0 评论 -
Pattern Recognition and Machine Learning 第四章 线性分类模型
标签: 机器学习线性分类模型分类的目标是将输入变量 x 分到 K 个离散的类别CkC_k中的某一类。线性分类模型中决策面是x的线性函数,为 D 维输入空间中的 (D − 1) 维超平面。采用决策论分类时,也是要先推断(即训练学习)再做决策。有三种方法得到决策:判别函数,不用概率,直接定义函数进行分类生成式法:∑p(x,Ck)→p(x)→p(x|Ck)→p(Ck|x)\sum p(x,C_k)→p原创 2017-01-04 02:30:20 · 1289 阅读 · 0 评论 -
Pattern Recognition and Machine Learning 第八章 贝叶斯网络
标签: 机器学习重点:条件独立和概率分解和积算法最大和算法图模型概率论可以使用两个简单的方程(加和规则和乘积规则)表示,可以完全通过代数计算来对更加复杂的模型进行建模和求解。概率图模型是可以用来帮助分析的工具,它提供了几个有用的性质:将概率模型的结构可视化,可以用于设计新的模型。通过观察图形,可以更深刻地认识模型的性质,如条件独立性质。用图计算表达复杂计算,隐式地承载了数学表达式。类原创 2017-01-04 23:56:46 · 872 阅读 · 0 评论 -
D-separation 概率图模型判断条件独立性
英文转载自 andrew.cmu.eduContentsHistory and MotivationD-separation Explained, with AppletFormal Definition of D-separation, with Applet中文小结(当然是我写的)ReferencesHistory and MotivationIn the early 19...原创 2018-10-10 17:06:26 · 5730 阅读 · 0 评论