eefeeW-CSDN博客

原创 logistic函数，sigma函数性质

性质：（1）g（-z）=1-g（z）（2）g' = g(1-g)=g（z）*g（-z）（3）几率：因为：ln(g / 1-g) = z; 可见符合sigma的概率分布的几率是‘线性’（4）一个事件发生的概率可以用其‘机率的logistic函数表示’******************************************

2014-11-17 15:01:50 23674

原创牛顿法和拟牛顿法

一。两种方法本质：和梯度下降法的本质一样都是为了找到一个合适的最快的下降方向，然后以一定步长一步一步走到极值点二。牛顿法：1、传统牛顿法（数学中）2、传统牛顿法在机器学习的推广：机器学习中需要做的是，参考‘回归分析’求J在参数向量为自变量的最小值注意，上面需要重复若干次直到两次的参数相差不大3、传统牛顿

2014-11-17 14:17:50 1569

原创用最直白的方式来解释‘批梯度下降’和‘随机梯度下降’

我们需要求最优值的函数是：其中一。理解批梯度：1、求J梯度（梯度是向量，每个坐标是J对其取偏导，所以可以认为梯度向量是J对向量求偏导）：梯度向量G————过程推导比较简单，省略右侧表达式是一个向量（x本身是特征向量，括号中是一个数，加和m还是一个向量）可见每一组都可以求一个梯度*********************************

2014-11-17 14:00:34 1063

原创非参数估计

一。特点：1、不需要用表达式来表示总体的概率密度，然后估计这表达式里的未知数，而是直接用样本来估计这个总体概率密度二。分类：（1）parzen窗（核密度估计 kernel density estimate KDE），注意，虽然叫‘核密度’，但是使用的是‘窗函数’而不是核函数，一般认为核函数的作用参见‘核函数、mercer条件’（2）k近邻（3）神经网络

2014-11-17 10:37:24 1085

原创参数估计

一。特点：1、需要估计的整体概率密度可以使用一个‘表达式’（里面含有未知参数）表示，则参数估计的目的就是估计表达式的这些未知参数2、二。分类：点估计：（1）矩估计（2）极大似然估计（3）贝叶斯估计区间估计：相当于得到两次点估计，一个为下界，一个为上界，由此构成一个区间三。点估计：1、矩估计：

2014-11-17 10:13:19 2329

原创各种回归全解：传统回归、逻辑回归、加权回归/核回归、岭回归、广义线性模型/指数族

一。前言：1、回归分析有两类用途：1、拟合预测。2、分类2、一些标记：x为输入的特征向量组，每个特征向量为n维（表示有n个特征）y为特征向量对应的类别对于训练样本来说：表示第i个样本（x，y），i=1……m（表示一共m个训练样本）表示第i个特征向量的第1、2个特征值为‘回归拟合系数’，所以对应x的维度，为n维二。传统的线性回归（只能做拟合

2014-11-16 22:46:09 19654 2

原创越研究这个领域，越觉得一个人伟大，补上一篇迟来的悼文

因为第一次买智能机，所以开始涉猎这个行业，1月有余，我竟然没喜欢上任何一款，相反，却渐渐地迷恋上了一个人——史蒂芬·乔布斯活这么大，经历很多改变世界的变化，但是只有这一次，是全部只和一个人有关，这一点非常奇妙，这是一个现实版的个人英雄主义，而事实是，乔布斯比英雄更了不起，乔布斯确实改变了世界，这一点毫无疑问，但是他是如何改变世界的呢，是他创造了一个新东西，然后变成了人们的习惯，

2014-11-15 18:59:32 784

ownfed的专栏