- 博客(12)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Stanford机器学习-- 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
什么是逻辑回归？Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归；
2016-04-05 23:26:24
5792
转载 机器学习中的范数规则化之（二）核范数与规则项参数选择
机器学习中的范数规则化之（二）核范数与规则项参数选择 上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 三、核范数 核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点
2016-04-04 17:37:05
673
转载 机器学习中的范数规则化之（一）L0、L1与L2范数
机器学习中的范数规则化之（一）L0、L1与L2范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。
2016-04-04 16:44:47
582
翻译 读Nature文章，看AlphaGo养成
博主是围棋小白，下棋规则都记不清楚，也没有设计过棋类AI程序。这篇文章主要是阅读《Nature》论文及关于AlphaGo的相关文章的学习心得。本文的主要目的是增进分享，交流学习，方便初学者了解AlphaGo中的算法，以及一些机器学习中的常见思路。真正的工程实现过程远比本文介绍得复杂。本文更多是启发式地进行阐述与分析，包括一些作者结合自己的理解进行的简化处理。文章中不严谨和理解不当之处，欢迎大家
2016-04-04 14:53:07
1683
原创 Bagging算法细讲
Bagging算法：让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后可得到一个预测函数序列h_1，⋯ ⋯h_n ，最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。思想：1).从原始样本集中用Bootstrap采样选出n个样本(新)2).对这n个样本建立分类
2016-04-04 14:14:55
5044
原创 支持向量机SVM核函数的选择(七)
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。要构造出一个具有良好性能的SVM，核函数的选择是关键也是最重要的一步．通常来讲核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择。如何根据具体的数据选择恰当的核函数是SVM应
2016-04-04 10:05:08
20564
1
转载 对支持向量机SVM的总结和理解篇(六)
之前以为SVM很强大很神秘，自己了解了之后发现原理并不难，不过，“大师的功力在于将idea使用数学定义它，使用物理描述它”，这一点在看SVM的数学部分的时候已经深刻的体会到了，最小二乘法、梯度下降法、拉格朗日乘子、对偶问题等等被搞的焦头烂额。在培乐园听了讲课之后才算比较清晰的了解了整个数学推导的来龙去脉。1. 为什么一定要研究线性分类？首先说一下为什么对数据集一定要说线性可分或线性不可分，
2016-04-04 08:59:04
3537
转载 支持向量机SVM（五）
11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for
2016-04-03 11:51:16
138
转载 支持向量机SVM（四）
9 规则化和不可分情况处理（Regularization and the non-separable case）我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张
2016-04-03 11:50:16
625
转载 支持向量机SVM（三）
7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中
2016-04-03 11:49:29
753
转载 支持向量机SVM（二）
6 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏
2016-04-03 11:47:49
657
转载 支持向量机SVM（一）
1 简介支持向量机基本上是最好的有监督学习算法了。这份材料从前几节讲的logistic回归出发，引出了SVM，既揭示了模型间的联系，也让人觉得过渡更自然。2 重新审视logistic回归Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函
2016-04-03 11:23:58
1012
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人