LandscapeMi

landscapemi的博客

机器学习笔记_ 决策树

决策树的定义 决策树-以信息熵为度量构造一个熵值下降最快的树,叶子节点的熵值是0 构建决策树的算法 : ID3-C4.5-CART 信息增益越大,对熵的减少能量越强,这个属性越能将数据由不确定性变成确定性 ID3 & C4.5 定义:经验熵,经验条件熵-选择信息增益最大的作为当前的特征 信...

2015-11-29 12:50:49

阅读数:268

评论数:0

机器学习笔记_ 聚类_2:谱聚类

谱聚类的定义 矩阵的谱: 方阵作为线性算子,它的所有特征值的全体称为方阵的谱,非方阵(ATAA^TA)的特征值 谱半径: (A^TA)的最大特征值 谱聚类: 对样本数据的拉普拉斯矩阵的特征值进行聚类 拉普拉斯矩阵: L=D-W

2015-11-28 14:34:19

阅读数:305

评论数:0

机器学习笔记_ 聚类_1:Kmeans+密度聚类

相似度 Minkowski距离- dist(X,Y)=(∑i=1n|xi−yi|p)1pdist(X,Y)=(\sum\limits_{i=1}^n|x_i-y_i|^p)^\frac{1}{p} 杰卡德相似系数- J(A,B)=|A∩B||A∪B|J(A,B)=\frac{|A \cap B|}...

2015-11-28 12:21:54

阅读数:937

评论数:0

机器学习笔记_ 降维_3:SVD

原理(对两个场的数据做分解和关联)设A是m*n的矩阵,m>n ;则ATA是n∗n的方阵A^TA是n*n的方阵 (ATA)vi=λivi=⎧⎩⎨⎪⎪σiui=λi−−√=1σiAvi=>A=UΣVT (A^TA)v_i=\lambda_i v_i=\left\{ \begin{alig...

2015-11-26 02:04:31

阅读数:196

评论数:0

机器学习笔记_ 降维_2:PCA

矩阵相关 正交矩阵: Q∈Rn∗nQ \in R^{n*n}, QQT=QTQ=IQQ^T=Q^TQ=I QT=Q−1Q^T=Q^{-1} Q=[q1,...,qn]的列组成标准正交组Q=[q_1,...,q_n]的列组成标准正交组 特征值和特征向量λ1,⋯,λm是方阵A的m个特征向量,p1,⋯...

2015-11-26 00:20:10

阅读数:483

评论数:0

机器学习笔记_降维_1:LDA(fisher)

LDA分类器(2分类问题) 存在超平面将两类数据分开,存在旋转向量,将两类数据投影到1维,并且分开. 通过矩阵ww将数据xx投影到yy y=w¯Txy=\bar{w}^Tx 寻找阈值w0,y≥w0,为类C1,否则是类C2w_0, y \geq w_0,为类C_1,否则是类C_2 LDA 算法 ...

2015-11-25 23:56:33

阅读数:315

评论数:0

机器学习笔记_ 最大熵模型

熵的概念 引例: 如果随机变量x的可能取值为 X=x1,x2,...,xkX={x_1,x_2,...,x_k}。若用n位的y: y1,⋯,yn(每个y有c种取值)y_1,\cdots, y_n(每个y有c种取值)表示,则n的取值期望。∑i=1kp(x=xi)log1p(x=xi)logc\s...

2015-11-25 00:26:01

阅读数:1186

评论数:0

机器学习笔记_ 数值最优化_3:KKT条件

KKT条件(几何的解释)对于凸优化,KKT条件的点就是其极值点(可行下降方向)。 设x∗x^*是非线性规划的局部最小点,目标函数f(x)f(x)在x∗x^*可微,约束方程(g(x))在x∗x^*处可微,连续;则X*点不存在可行下降方向(因为已经是局部最小点了) 若极小值点在内部,则无约束问题,直接...

2015-11-24 03:03:42

阅读数:2021

评论数:0

机器学习笔记_ 数值最优化_2:最优化算法

导数的算法 梯度下降 牛顿方法:二阶展开(无需计算步长)φ=f(xk)+f′(xk)(x−xk)12f′′(xk)(x−xk)2+R2(x)\varphi=f(x_k)+f^{'}(x_k)(x-x_k)_\frac{1}{2}f^{''}(x_k)(x-x_k)^2+R_2(x) => ...

2015-11-24 01:20:36

阅读数:1090

评论数:0

机器学习笔记_ 数值最优化_1:最优化条件

无约束问题的极值条件 minf(x);x∈Rnmin \quad f(x) ; \quad x \in R^n 最优性条件 -全局最优;局部最优; -局部最优(一阶必要条件): 设x∗是f(x)的一个局部极小点的条件是g(x∗)=0x^*是f(x)的一个局部极小点的条件是g(x...

2015-11-23 17:01:22

阅读数:525

评论数:0

机器学习笔记_逻辑回归

逻辑回归解释 广义线性模型中的连接函数:线性+logit+probit+对数+多类别 其中二分:logit+probit 链接函数的选择源于Y随机变量分布决定了关系函数YiY_i 服从正态分布 =>线性模型 YiY_i服从伯努利模型=>logistic模型 Y成功胜率的对数(logit...

2015-11-22 22:59:04

阅读数:415

评论数:0

机器学习笔记_回归_4: 最小二乘问题(3)

LARS回归 引: LASSO: 不等式约束的最小二乘方法:功能:收缩:对入选的少量参数计算;选择 minx||y−y^||22\min\limits_{x}||y-\hat{y}||_2^2 subject.to||x||1=∑i=1n|xi|≤q\quad subject.to \qua...

2015-11-22 21:35:14

阅读数:296

评论数:0

机器学习笔记_回归_4: 最小二乘问题(2)

subset的选择(特征选择)参看博客:http://m.blog.csdn.net/blog/xbinworld/44284293 * lasso可以做特征选择(转化为求解次梯度:owl-qn)自变量选择对于估计和预测的影响 全模型与选模型 全模型 :设因变量为mm个: y=β0+β1x...

2015-11-22 17:09:31

阅读数:674

评论数:0

机器学习笔记_回归_4: 最小二乘的改进(1)

局部加权回归岭回归(ridge regression)RR(稀疏矩阵) 针对多重共线性 |XTX|≈0|X^TX| \approx0:β^=(XTX+kI)−1XTy:\quad\hat{\beta}=(X^TX+kI)^{-1}X^Ty k:岭参数k: 岭参数=>得到β\beta参数的估...

2015-11-22 11:27:23

阅读数:300

评论数:0

机器学习笔记_回归_3: 广义线性模型

指数分布族参看:机器学习笔记(july七月)_数学基础_2-概率论 http://blog.csdn.net/mijian1207mijian/article/details/49896689 满足指数族分布 <=> GLM广义线性模型 二项分布和正态分布概率密度函数均可以由指数族的...

2015-11-22 01:47:43

阅读数:266

评论数:0

机器学习笔记_回归_2: 最小二乘问题

线性回归求解最小二乘 解析解 12∑i=1m(hθxi−yi)2=12(Xθ−y⃗ )T(Xθ−y⃗ )=J(θ)\frac{1}{2} \sum\limits_{i=1}^{m}(h_{\theta}x^i-y^i)^2=\frac{1}{2}(X\theta-\vec{y})^T(X\thet...

2015-11-22 00:16:17

阅读数:320

评论数:0

机器学习笔记_回归_1:线性回归

线性回归的定义

2015-11-21 15:32:37

阅读数:457

评论数:0

数学基础: 矩阵的求导

矩阵的迹aTa=tr(aaT)a^Ta=tr(aa^T)矩阵的求导机器学习的矩阵求导:http://www.cnblogs.com/thu539/archive/2012/11/09/2762701.html 矩阵运算的推导:http://blog.csdn.net/u012176591/art...

2015-11-21 12:43:02

阅读数:845

评论数:0

机器学习笔记_数学基础_7-凸优化理论

优化问题minf0(x)min f_0(x) subjecttofi(x)≤bi,i=1,⋯,msubject to f_i(x) \leq b_i, \quad i=1,\cdots,m x=(x1,⋯,xn)x=(x_1,\cdots,x_n) 称为优化变量 f0f_0称为目标函数 ...

2015-11-20 10:50:03

阅读数:3204

评论数:0

机器学习笔记_数学基础_5-矩阵理论_续1_QR分解

矩阵的QR分解 实非奇异矩阵(满秩矩阵)A能够分解为正交矩阵Q和实非奇异上三角矩阵R的乘积 证明:令AA的n个列向量a1,⋯,ana_1,\cdots,a_n, 因为A非奇异,=>列向量线性无关 则列向量的施密特正交化可得,n个标准的正交列向量 q1,⋯,qNq_1,\cdots,q_N...

2015-11-19 14:56:58

阅读数:645

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭