2018年05月_听海的石头

08月 05月 01月

转载学习斯坦福机器学习笔记—第五课

课程概要：1.生成学习算法（Generative learning algorithm）2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.GDA与logistic模型的联系4.朴素贝叶斯（Naive Bayes） 5.拉普拉斯平滑（Laplace smoothing）一、生成学习算法两种学习算法的定义1 判别学习算法：直接学习p(y|x)，其中x是某类样...

2018-05-18 09:57:25 251

转载学习斯坦福机器学习—第四课

1、最速下降法和牛顿法1.1 最速下降法计算步骤如下：（1）给定初始点x(1)∈R(n)x(1)∈R(n)，允许误差ϵϵ>0，置k=1k=1；（2）计算搜索方向d(k)=−▽f(x(k))d(k)=−▽f(x(k))；（3）若||d(k)||≤ϵ||d(k)||≤ϵ，则停止计算；否则，从x(k)x(k)沿d(k)d(k)进行一维搜索，求λkλk，使得f(x(k)+λkd(k))=min(f(...

2018-05-17 18:06:00 386

转载机器学习算法之：指数族分布与广义线性模型

参考NG的lecture note1 part3 本文将首先简单介绍指数族分布，然后介绍一下广义线性模型（generalized linear model, GLM), 最后解释了为什么逻辑回归（logistic regression, LR) 是广义线性模型的一种。指数族分布指数族分布 (The exponential family distribution),区别于指数分布（exponenti...

2018-05-17 18:04:24 307

转载机器学习第五章——Logistic回归算法

1：简单概念描述假设现在有一些数据点，我们用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合参数，使用的是最优化算法。这就是简单的线性回归问题，可以通过最小二乘法求解其参数，最小二乘法和最大似然估计见：http://blog.csdn.net/lu597203933/article/details/45032607。但是当有一类情况如判断邮...

2018-05-17 16:03:39 327

转载学习斯坦福机器学习笔记—第三课

Logistic Regression上一次的课程主要解决回归分析问题，这一次的课程主要为分类问题，分类问题也可看做将回归问题的连续性离散化。1.1 Classification先来谈谈二分类问题。课程中先给出了几个例子。邮件是垃圾邮件还是非垃圾邮件；网上交易是的欺骗性（Y or N）；肿瘤是恶性的还是良性的。对于这些问题，我们可以通过输出值y ϵϵ {0, 1} 来表示。通过上次的课程，我...

2018-05-17 09:08:12 469

转载学习斯坦福机器学习笔记—第二讲

本讲内容：1.linear regression(线性回归）2.gradient descent（梯度下降）3.normal equations（正规方程组）首先引入一些符号：(1) 训练样本的数量(2) 输入变量/ 输入特征(3) 输出变量/ 目标变量(4) 第i个训练样本(5) 训练集(6) 特征的数量监督学习流程图首先找到一个训练集合（m个样本），提供给学习算法，得到一...

2018-05-16 16:54:07 116

原创学习斯坦福机器学习笔记—第一课

1.无监督、半监督和监督学习区别以及例子：1.1 无监督学习：无监督式学习(Unsupervised Learning )是人工智能网络的一种算法(algorithm)，其目的是去对原始资料进行分类，以便了解资料内部结构。有别于监督式学习网络，无监督式学习网络在学习时并不知道其分类结果是否正确，亦即没有受到监督式增强(告诉它何种学习是正确的)。其特点是仅对此种网络提供输入范例，而它会自动从这些范例...

2018-05-16 09:40:09 248