机器学习
文章平均质量分 84
Cins侯卓
我的征途是星辰大海。
展开
-
机器学习初探———【K-近邻算法】
一句话:测量不同特征值之间的距离进行分类优点:精度高,对异常值不敏感,无数据假定输入。缺点:计算复杂度高,空间复杂度高。使用数据范围:数值型和标称型。k-近邻算法的一般流程:收集数据:任何方法。准备数据:距离计算所需要的数值,最好是结构化数据格式。分析数据:任何方法。训练方法:此步骤不适用于k-近邻算法。测试方法:计算错误率。使用算法原创 2015-03-30 11:28:04 · 651 阅读 · 0 评论 -
机器学习笔记(三)矩阵和线性代数
特征向量、对称矩阵对角化、线性方程原创 2016-03-09 17:00:37 · 4472 阅读 · 0 评论 -
机器学习笔记(一)微积分
微积分@(Machine Learning)[微积分, 概率论]1.夹逼定理:当x∈U(x0,r)x \in U(x_0,r)时,有g(x)≤f(x)≤h(x)g(x)\leq f(x)\leq h(x)成立,并且limx→x0g(x)=A,limx→x0h(x)=A\lim_{x \to x_0}g(x) =A , \lim_{x \to x_0}h(x) =A 那么:limx→x0f(x)=原创 2016-01-13 20:13:43 · 2897 阅读 · 0 评论 -
机器学习笔记(二)数理统计
数理统计@(Machine Learning)[数理统计和参数估计]1.事件的独立性: 给定AA和BB是两个事件,若有P(AB)=P(A)P(B)P(AB) = P(A)P(B) 则称事件AA和BB相互独立。 说明: AA和BB相互独立,则P(A|B)=P(A)P(A|B) = P(A)意为事件BB的发生对AA没有任何影响。 实践中往往根据两个事件是否相互影响二判断独立性:如原创 2016-02-01 12:18:09 · 2481 阅读 · 0 评论 -
机器学习笔记(二)矩估计,极大似然估计
1.参数估计:矩估计样本统计量设X1,X2…Xn…X_1,X_2…X_n…为一组样本,则 - 样本均值 : X¯¯¯=1n∑i=1nXi\overline{X} = \frac{1}{n}\sum^n_{i=1}X_i - 样本方差:S2=1n−1∑i=1n(Xi−X¯¯¯)2S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2原创 2016-02-01 12:21:15 · 6704 阅读 · 0 评论 -
通过贝叶斯logistic回归看拉普拉斯近似
PRML Reading Group@(PRML)[拉普拉斯近似, 贝叶斯logist回归]首先贝叶斯logistic回归是什么呢? 如果想了解拉普拉斯近似,我们不妨可以先从他的应用—-贝叶斯logistic回归看起,那么它和贝叶斯线性回归,logistic回归有什么区别呢? 线性模型:像我们熟悉的logistic回归,通常做法就是取一个二项分布的似然函数,再最大似然这个函数,转原创 2016-01-29 11:52:14 · 7920 阅读 · 0 评论 -
Stanford机器学习课程(Andrew Ng) Week 1 Parameter Learning --- 线性回归中的梯度下降法
本节将梯度下降与代价函数结合,并拟合到线性回归的函数中 这是我们上两节课得到的函数,包括: 梯度下降的公式 用于拟合的线性假设和h(x) 平方误差代价函数 J(θ0 , θ1) 步骤 我们把J(θ0 , θ1)带入到左边的梯度下降公式中,展开成下面形式 我们假设梯度下降算法起始地两个初值J = 0 , 1 。分别对θ0 和θ1求偏导原创 2015-12-15 17:12:17 · 1299 阅读 · 0 评论 -
Stanford机器学习课程(Andrew Ng) Week 1 Parameter Learning --- 梯度下降法
随机梯度下降是很常用的算法,他不仅被用在线性回归上,实际上被应用于机器学习领域中的众多领域。 本节我们可以用这种算法来将代价函数最小化 我们想要使用梯度下降算法得到 θ0和θ1来使代价函数J(θ0 , θ1)最小化,当然也适用于其他跟一般的函数比如J(θ0,….θn)。 下面是关于梯度下降的构想: 预估两个初始值θ0和θ1作为起点 不断改变θ0和θ1使代价函数 J(原创 2015-12-15 15:26:10 · 1063 阅读 · 0 评论 -
Stanford机器学习课程(Andrew Ng) Week 1 Model and Cost Function --- 第二节 Cost Function
课程地址: https://www.coursera.org/learn/machine-learning/lecture/rkTp3/cost-functionCost Function 在学习线性回归之前,我们有必要补充代价函数的知识,来帮助我们弄清楚如何把最有可能的直线和我们的数据相拟合。还是上节课的数据集,而假设函数也是这样的一个最基本的线性函数形式 我们把θi称为模型参数原创 2015-12-14 16:15:33 · 1653 阅读 · 0 评论 -
Stanford机器学习课程(Andrew Ng) Week 1 Model and Cost Function --- 第一节 Model representation
Model representation 课程地址: https://www.coursera.org/learn/machine-learning/lecture/db3jS/model-representation?sort=lastActivityAtDesc&page=1这节课将通过讲述一个完整的线性回归的例子来了解监督学习的完整流程。首先根据不同房屋尺寸所出售的价格画出数据集,原创 2015-12-14 11:41:12 · 1543 阅读 · 0 评论 -
斯坦福大学自然语言处理第一课 “引言(introduction)”
斯坦福大学自然语言处理第一课“引言(introduction)”原创 2015-08-25 22:10:15 · 2837 阅读 · 0 评论 -
LDA(一):LDA前身PLSA介绍与推导
PLSA介绍与推导:概率隐语义分析(PLSA)是一个著名的针对文本建模的模型,是一个生成模型。因为加入了主题模型,所以可以很大程度上改善多词一义和一词多义的问题。数学基础:生成模型: 预测模型的公式是P(y|x)P(y|x),即给定输入,输出给定输入的概率分布,就要学习联合分布P(x,y)P(x,y),所以还要先求出P(x)P(x),反应的数据本身的相似度。 这样的方法之所以称为生成方法,是因原创 2016-05-21 13:36:21 · 4497 阅读 · 1 评论