i春暖花开-CSDN博客

原创学习python：决策树算法

决策树简单算法思想：构造决策树，它主要是属性的选择，来选择将元组最好的划分成不同的类的属性。关键：在于分裂属性。所谓分列属性就是在某个节点处按照某一个特征属性的不同划分构造不同的分支，其目标是让各个分裂子集尽可能的“纯”。尽可能的纯意味着尽量让一个分裂子集中待分类项属于同一类别。分列属性有三种不同情形： 1：属性离散，且不要求生成二叉决策树。此时属性的每一个划分作为一个分支。 2：属性离散，

2017-09-16 11:31:55 689 1

原创学习Python:逻辑回归算法

1. 逻辑回归简单算法思想2. 逻辑回归Python算法@机器学习实战#加载二维数据import numpy as npdef loadDataSet(): dataMat =[]; labelMat=[] fr = open('testSet.txt') for line in fr.readlines(): lineArr = line.

2017-09-15 22:09:46 1368 1

原创动态规划笔记

动态规划笔记由于自己是非计算机专业，而对编程学习比较感兴趣，特学习算法导论一书，根据书上伪代码来练习，一来提高自己算法思维，二来督促自己好好学习，不能虚度光阴。一：思想　　动态规划，通常用来求解最优化问题，这类问题有很多可行解，我们希望寻找其最优解，通常是最大值最小值。　　具体步骤就是一个大问题可以分为很多子问题，通过求解小规模的子问题，进而组合子问题得到原问题的解。使用动态规划解决问题，需要

2016-12-29 20:38:14 647

原创 <机器学习练习>感知机到支持向量机流程

一：感知机1.定义：输入空间(特征空间)xx，输出空间(类别)y=−1,+1y={-1,+1} 。由输入空间到输出空间的映射为如下函数f(x)=sign(w∗x+b)f(x)=sign(w*x+b) 称为感知机。 2.思想由训练样本T=(x1,y1)...(xn,yn)T={(x_{1},y_{1})...(x_{n},y_{n})}，求得感知机模型f(x)=sign(w∗x+b)f(

2016-06-07 16:29:14 1703

原创 <机器学习练习>逻辑斯谛回归

一：线性回归线性回归假设特征和结果满足线性关系。线性回归，就是线性拟合，拟合就是找到那条线，对残差平方和最小的那条直线。比如说：我们要模拟房子的大小(x1x_{1})，房子的位置(x2x_{2})。。。对于房价(yy)的影响。假设他们是线性关系。则，我们要找的是特征x1,x2...{x_{1},x_{2}}... 和房价(yy)的关系:h(θ)=θ0+θ1x1+θ2x2....=θTXh(\th

2016-06-05 19:43:31 2617

原创 <机器学习练习>朴素贝叶斯法

一：预备知识1)条件概率：事件AA发生的条件下，事件BB发生的概率记为：p(B|A)=p(AB)p(A)p(B|A)=\frac{p(AB)}{p(A)} 。 2)全概率公式：设事件B1,B2...Bn B_{1},B_{2}...B_{n} 为样本空间的一个划分，也就是事件B1,B2...Bn B_{1},B_{2}...B_{n} 把样本空间不相交的给划分完全了。则事件AA 发生的概率是：

2016-06-02 22:12:58 2260

一：EM算法介绍1）算法解释： Expectation-maximization algorithm，期望最大化算法。用于含有不可观察的隐形变量的，概率模型中，并利用参数最大似然估计。2）计算思想：因为模型包含隐含的变量，可以看作参数A，同样的对于要估计的其他参数可以看作B，知道B,可以给出求出A，同样的知道A，可以给出最优的参数B。EM算法就是，先假设已知参数B，然后求出A,再用求出的A，去得到

2016-05-31 00:23:10 1272

原创 <数值分析>学习笔记

说明：数值分析要考试了，把一些东西总结一下，留着以后看看，也加深理解一下。 1：直接求解：Gauss消去法，LU分解 2：迭代求解：jacobi，Gauss-Seidel ，超松弛法，共轭梯度法 3：特征值求解：幂法和反幂法LU 分解%%%LU 分解function [A]=lu_ijk(A)%Doolittle分解以对角线为分界限两次for循环 [n,n]=size(A)

2016-05-27 23:57:00 3814 1

原创 <机器学习练习>K-means聚类算法

1：思想 K-means，属于无监督学习。即输入数据没有标签y，经过一些算法后，找到标签y。聚类的目的就是找到每个样本潜在的标签y，并将同类别的样本放到一起。而k-means聚类：就是把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。2：缺点 1)聚类数量k，需要输入。选择不恰当，聚类结果很糟糕

2016-05-25 01:01:21 3285

原创 <机器学习练习>高斯判别分析GDA

解释：高斯分界面的等式成立可以这样理解：对于任意一点x，其出现在y=0和y=1的两类概率相等。clear;clc%%随机生成一组高斯数据mu1=[2,2,3];sigma=[1,0,0;0,2,0;0,0,3];x0=mvnrnd(mu1,sigma,200);y0=zeros(length(x0),1);plot3(x0(:,1),x0(:,2),x0(:,3),'ro');hol

2016-05-24 19:39:06 1783

原创 l1范数最小化快速算法

1：解决的问题模型如下：或者约束条件可以适当的松弛，即为如下模型：当然约束条件取l2l_2范数，bb数据获取的比较准确，结果逼近的效果更好，防止过拟合。如果取l1l_1 范数，则是获取的bb数据，受到污染比较严重。并且bb 本身就是稀疏的。这也是人的经验对于模型的成功也是很重要的。 2：几类优化算法 (1)梯度投影算法Gradient Projection Methods

2016-01-15 00:46:55 25597

原创 K-SVD算法学习

1：稀疏表示：考虑线性等式，或者是线性逼近。X=DaX=Da,这里的D是M∗PM*P 的矩阵。称为字典（字典学习中），测量矩阵（压缩感知中），权重矩阵（多任务学习中），其中M<<PM<<P。DD 中的每一列称为原子。其模型为min||a||0min ||a||_0 s.t.X=Das.t.X=Da 等价于min1/2||X−Da||22+λ||a||0min 1/2||X-Da||_2^

2016-01-06 21:04:33 6448

原创 Proximal Gradient Method近端梯度算法

本文参考文献附在最后。是对参考文献的理解。 1：此算法解决凸优化问题模型如下：minF(x)=g(x)+h(x)min F(x)=g(x)+h(x)其中g(x)g(x)凸的，可微的。h(x)h(x) 闭的凸的。其中g(x),h(x)是由F(x)g(x),h(x)是由F(x) 分离出来的两项，当F(x)F(x) 分离的结果不同，即使是同一个问题，算法的实现方式也不尽相同， 2：算法的实现 1)对

2016-01-02 16:20:32 25061 7

原创 soft thresholding 软阈值算法

软阈值算法解决的是如下优化模型：min1/2||X−b||22+λ||X||1min 1/2||X-b||_{2}^2+\lambda||X||_{1} 首先给出软阈值作用的图像：其中左边的是原始信号，右边的是软阈值作用后的结果。现在我们看一下这个优化模型怎么用软阈值算法来求解。很显然上述问题的最优解其实就相当于阈值为λ\lambda 的一个软阈值作用的结果。%% soft t

2016-01-02 13:30:00 19270 13

原创矩阵填充的SVT算法

本文是对SVT的一篇文章的理解，即奇异值阈值算法的理解。 1:算法解决的问题如下：其中最小化的是核范数（表示矩阵奇异值之和），是rank(X)的最优凸近似。具体研究解决的是矩阵填充问题，如何在不完备的数据下把缺少的数据给补充完整。前提是填充的矩阵是要求低秩的。首先给出软阈值算子：如果那么在软阈值算子下有：其中t+=max(0,t)t_+=

2015-12-30 17:36:46 19907 5

原创稀疏问题的学习2

补充：对于矩阵恢复问题上述应用，那么为什么可以核范数近似等于矩阵的秩，1范数近似等于0范数呢，文章中给出的解释是A的核范数是rank(A)的最优凸近似，1范数是0范数的最优凸近似。所以上述问题就转为凸优化问题。从而更容易求解问题。 1：对于矩阵重建问题的应用。 1）矩阵填充问题：最著名的当属netflix填充系统。很多部电影，很多人去评论，不可能每个人评论完每一部电影

2015-12-28 23:50:52 1031

原创稀疏问题的学习

1:矩阵的填充问题。矩阵填充问题,考虑的是采样得到的一个矩阵，这个矩阵并不是完整的，只能得到一部分的元素。如何利用已有的元素，去把未知的元素给填充完整。不是说任意不完全的矩阵都可以直接填充的，现有的算法必须要求这个矩阵是有信息冗余的，换句话说必须要求这个矩阵是低秩的。那么就是解决如下优化问题：min:Rank(X) min:Rank(X)s.t:Xij=Mij s

2015-12-13 13:05:52 2129 1

原创 <优化算法>下降方法descent method

1:目标对于无目标约束问题进行最小值求解问题。 x(k+1)=x(k)+t(k)Δx x(k+1)=x(k)+t(k) \Delta x 等式为迭代关系，其中 t(k) 为第k次的迭代步长。Δx \Delta x 搜索方向。对于求其最优解，即是考虑求其最小值。我们所有学的下降方法满足迭代的后一项应该是小于前一项的，之为下降，这样才可能到达最小值点。即是满足 f(x(k+1))<f(

2015-10-08 00:40:13 1580

春暖花开