- 博客(6)
- 收藏
- 关注
RSS订阅原创 生成算法 vs 回归/线性算法
一个重要的结论：基于大部分常见概率分布（exponential family)的生成算法得到的p(y|x)都是g(theta' * x) 其中g是sigmoid函数。即后者是前者的必要不充分条件。可以得到推论：1. 逻辑回归器具有较强的鲁棒性，在大数据情况下表现良好2. 生成算法在分布选择正确或者相似的情况下可以得到较高的准确率，同时对数据量要求不高。但是在分布选择错误的情况下
2015-05-25 21:43:13
328
原创 generative learning algorithm
同样是基于概率论的模型下，generalized regression等都是基于P(y|x)的概率分布给出的模型，generative learning 是根据p(x|y)给出的模型。Assumption1. p(x|y) ~ distribution2. p(y) ~ distribution步骤1. p(x|y) ~ f(inta) inta是向量，是最少能够描述相应概率分
2015-05-25 21:24:27
320
原创 广义回归模型（GRM）
Generalized regression model对线性回归，逻辑分类器进行概率论的解释之后的抽象模型，进而分析拓展步骤与方法。三个假设1. p(y|x,theta) ~ exponential family2. h_theta(x) = E(T(y)|x)3. inta = theta' * x;Exponential family distribution
2015-05-25 21:10:51
2766
原创 分类器
分类问题与回归问题区别在于y的范围，回归问题对y的精度来得高，所以对模型敏感，对数据要求多。回归问题可以通过对y按照范围进行分类，实现回归问题到分类问题的转化。这样可以在要求不高的情况下增大准确度。logistic regression最基本的线性分类器，是digression classifier的一种，目的在于找到一个将定义域一分为二的平面/直线以期对数据进行分类。那么对于找到的分界线
2015-05-21 22:50:12
350
原创 linear regressiond
这是对andrew ng 公开课的笔记记录。线性回归其实是要找到一个可以很好的拟合空间中的点的线性函数。为了衡量函数是否足够好，就需要对失误进行量化。几乎所有的线性回归都是采用最小二乘法，这个最小二乘法有很多种理解方式。1. 公开课上给出了一种概率论的理解方式，即将假设失误|y - h(x)|遵循高斯分布（这里有一个IID的假设），这样要找到使整体失误的概率最大的方式，采用最大似然法的结果
2015-05-21 21:49:06
334
原创 博客主题
最近有学习一些关于机器学习的知识，但是这个领域博大精深，现在连初窥皮毛都算不上。这个博客不在于深入浅出的讲述知识，只是对自己的理解的记录而已。肯定有错误的理解的地方，此处记录了也方便以后拨乱反正。同时也希望记录一些自己思考了但是在网上没有找到或者很难找到的问题以及自己的感悟。希望可以通过记录博客，做到对这方面的知识充分了解，能够居高临下的看问题。
2015-05-21 21:39:08
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人