机器学习
文章平均质量分 52
i春暖花开
这个作者很懒,什么都没留下…
展开
-
l1范数最小化快速算法
1:解决的问题模型如下: 或者约束条件可以适当的松弛,即为如下模型: 当然约束条件取l2l_2范数,bb数据获取的比较准确,结果逼近的效果更好,防止过拟合。如果取l1l_1 范数,则是获取的bb数据,受到污染比较严重。并且bb 本身就是稀疏的。这也是人的经验对于模型的成功也是很重要的。 2:几类优化算法 (1)梯度投影算法Gradient Projection Methods原创 2016-01-15 00:46:55 · 25402 阅读 · 0 评论 -
学习Python:逻辑回归算法
1. 逻辑回归简单算法思想2. 逻辑回归Python算法@机器学习实战#加载二维数据import numpy as npdef loadDataSet(): dataMat =[]; labelMat=[] fr = open('testSet.txt') for line in fr.readlines(): lineArr = line.原创 2017-09-15 22:09:46 · 1357 阅读 · 1 评论 -
动态规划笔记
动态规划笔记由于自己是非计算机专业,而对编程学习比较感兴趣,特学习算法导论一书,根据书上伪代码来练习,一来提高自己算法思维,二来督促自己好好学习,不能虚度光阴。一:思想 动态规划,通常用来求解最优化问题,这类问题有很多可行解,我们希望寻找其最优解,通常是最大值最小值。 具体步骤就是一个大问题可以分为很多子问题,通过求解小规模的子问题,进而组合子问题得到原问题的解。使用动态规划解决问题,需要原创 2016-12-29 20:38:14 · 632 阅读 · 0 评论 -
<机器学习练习>逻辑斯谛回归
一:线性回归线性回归假设特征和结果满足线性关系。线性回归,就是线性拟合,拟合就是找到那条线,对残差平方和最小的那条直线。 比如说:我们要模拟房子的大小(x1x_{1}),房子的位置(x2x_{2})。。。对于房价(yy)的影响。假设他们是线性关系。则,我们要找的是特征x1,x2...{x_{1},x_{2}}... 和房价(yy)的关系:h(θ)=θ0+θ1x1+θ2x2....=θTXh(\th原创 2016-06-05 19:43:31 · 2604 阅读 · 0 评论 -
<机器学习练习>朴素贝叶斯法
一:预备知识1)条件概率:事件AA发生的条件下,事件BB发生的概率记为:p(B|A)=p(AB)p(A)p(B|A)=\frac{p(AB)}{p(A)} 。 2)全概率公式:设事件B1,B2...Bn B_{1},B_{2}...B_{n} 为样本空间的一个划分,也就是事件B1,B2...Bn B_{1},B_{2}...B_{n} 把样本空间不相交的给划分完全了。则事件AA 发生的概率是:原创 2016-06-02 22:12:58 · 2254 阅读 · 0 评论 -
<机器学习练习>感知机到支持向量机流程
一:感知机1.定义: 输入空间(特征空间)xx,输出空间(类别)y=−1,+1y={-1,+1} 。由输入空间到输出空间的映射为如下函数f(x)=sign(w∗x+b)f(x)=sign(w*x+b) 称为感知机。 2.思想 由训练样本T=(x1,y1)...(xn,yn)T={(x_{1},y_{1})...(x_{n},y_{n})},求得感知机模型f(x)=sign(w∗x+b)f(原创 2016-06-07 16:29:14 · 1695 阅读 · 0 评论 -
<机器学习练习>EM算法
一:EM算法介绍1)算法解释: Expectation-maximization algorithm,期望最大化算法。用于含有不可观察的隐形变量的,概率模型中,并利用参数最大似然估计。2)计算思想:因为模型包含隐含的变量,可以看作参数A,同样的对于要估计的其他参数可以看作B,知道B,可以给出求出A,同样的知道A,可以给出最优的参数B。EM算法就是,先假设已知参数B,然后求出A,再用求出的A,去得到原创 2016-05-31 00:23:10 · 1257 阅读 · 0 评论 -
<机器学习练习>K-means聚类算法
1:思想 K-means,属于无监督学习。即输入数据没有标签y,经过一些算法后,找到标签y。 聚类的目的就是找到每个样本潜在的标签y,并将同类别的样本放到一起。 而k-means聚类:就是把n个点(可以是样本的一次观察或一个实例)划分到k个聚类中,使得每个点都属于离他最近的均值(此即聚类中心)对应的聚类,以之作为聚类的标准。2:缺点 1)聚类数量k,需要输入。选择不恰当,聚类结果很糟糕原创 2016-05-25 01:01:21 · 3234 阅读 · 0 评论 -
<机器学习练习>高斯判别分析GDA
解释:高斯分界面的等式成立可以这样理解:对于任意一点x,其出现在y=0和y=1的两类概率相等。clear;clc%%随机生成一组高斯数据mu1=[2,2,3];sigma=[1,0,0;0,2,0;0,0,3];x0=mvnrnd(mu1,sigma,200);y0=zeros(length(x0),1);plot3(x0(:,1),x0(:,2),x0(:,3),'ro');hol原创 2016-05-24 19:39:06 · 1768 阅读 · 0 评论 -
学习python:决策树算法
决策树简单算法思想:构造决策树,它主要是属性的选择,来选择将元组最好的划分成不同的类的属性。关键:在于分裂属性。所谓分列属性就是在某个节点处按照某一个特征属性的不同划分构造不同的分支,其目标是让各个分裂子集尽可能的“纯”。尽可能的纯意味着尽量让一个分裂子集中待分类项属于同一类别。 分列属性有三种不同情形: 1:属性离散,且不要求生成二叉决策树。此时属性的每一个划分作为一个分支。 2:属性离散,原创 2017-09-16 11:31:55 · 683 阅读 · 1 评论