Paul_Huang的专栏

统计学习方法第一章习题

Week2：神经网络的编程基础(Basics of Neural Network programming)2.1 本章名词和符号先介绍一些名词training set (训练集)feature vector(特征向量)classifier(分类器)calculus(微积分)loop(循环)datasets(数据集)vectorization (向量化)matrix(矩阵)vector(向量)本周用到的一些符号【Notation】(x,y)(x,y)(x,y)表示一个单

1. Week 61.1 应用机器学习的建议(Advice for Applying Machine Learning)1.1.1 决定下一步做什么到目前为止，我们已经介绍了许多不同的学习算法，然而，在懂机器学习的人当中依然存在着很大的差距，一部分人确实掌握了怎样高效有力地运用这些学习算法。而另一些人可能没有完全理解怎样运用这些算法。因此总是把时间浪费在毫无意义的尝试上。本章是确保你在设计机器学习的系统时，你能够明白怎样选择一条最合适、最正确的道路。改进这个算法的性能常见的几种方法：1. 获

吴恩达机器学习笔记整理1. Week11.1 什么是机器学习(What is Machine Learning)1.2机器学习算法分类1.2.1 监督学习1.2.2 无监督学习1.3 单变量线性回归(Linear Regression with One Variable)1. 3.1 问题解决模型1.3.2. 代价函数(Cost Function)1.4 梯度下降(Gradient Descent...

台湾国立大学机器学习技法.听课笔记（第五讲） :Kernel Logistic Regression一，Soft-Margin SVM as Regularized Model我们开始本lecture前，先对以前的知识进行回顾：其中，ξ_n是松弛变量，它的特点是：所以我们可以把Soft-Margin SVM写成：这个形式是

台湾国立大学机器学习技术.听课笔记（第二讲）:Dual Support Vector Machine一，Motivate of Dual SVM(对偶SVM的动机)上一讲我们知道要想假设尽可能的少，边界尽可能的精细，我们可以采用non-linear SVM。即Large-MarginHyperplane + numerous feature transform:

台湾国立大学机器学习技术.听课笔记（第一讲）：Support Vector Machine一，course introducation       我们机器学习技术将要学习的主要是围绕特征转换来讲，把维数降低，我们说他是支撑向量机(SVM)；找出比较具有预测性的特征，把他们混合起来，我们把它称为逐步增强法（Adaptive Boosting）；找出数据中隐含的信息，做进一步的处理，

台湾国立大学机器学习技术.听课笔记（第三讲） :Kernel Support Vector Machine一，kernel trick(kernel技巧)1，kernel 的引出对偶SVM的目标是：但是正如上一讲中对偶问题讲到的，我们还隐藏计算q_(n,m)时要依据d～来看SVM的计算量。我们算q_(n,m) 时是先转换后计算，那我们想能不能用其他方式减

台湾国立大学机器学习技法.听课笔记（第八讲）:Adaptive Boosting[漸次提昇法]一，   Motivationof Boosting（提升法的动机）

监督学习，无监督学习，半监督学习监督学习(Supervised learning)、非监督学习(Unsupervised learning)、半监督学习(Semi-supervised learning)，怎么区分呢？这个问题可以回答得很简单：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。一、

台湾国立大学机器学习技法.听课笔记（第四讲） :Kernel Support Vector Machine一,Motivation and Primal Problems我们从第一讲到第三讲，都是说Hard-Margin SVM，要求全部的点都要进行正确划分，太完美了；也许有些点是noise，但是还是Hard-MarginSVM。 我们现在就想能不能

台湾国立大学机器学习技法.听课笔记（第六讲）:Support Vector Regression一，Kernel Ridge Regression1.提出线性岭回归问题我们上一讲学习了解决Two-level的问题时，我们可以用两种方法解决：我们上一讲是的Representer Theorem的基本形式是：那么ridge regre

台湾国立大学机器学习技法.听课笔记（第七讲）:Blending(混合) and Bagging（自举）一，Motivation of Aggregation(融合模型的动机)1，提出Aggregation假设有T个朋友告诉你将来几天股市的假设，那我们到底选哪一个人的模型好呢？我们有这么四种选择方法：所以我们得到的混合模型(AggregationM

原文地址:http://www.cnblogs.com/cyruszhu/p/5496913.html1 基础l  Andrew NG 的 Machine Learning视频。连接：主页，资料。 l  2.2008年Andrew Ng CS229 机器学习当然基本方法没有太大变化，所以课件PDF可下载是优点。中文字幕视频@网易公开课，英文版视频@you

1.核函数1.1核函数的由来-----------还记得为何要选用核函数么？-----------对于这个问题，在Jasper's Java Jacal博客《SVM入门（七）为何需要核函数》中做了很详细的阐述，另外博主对于SVM德入门学习也是做了很详细的阐述，有兴趣的可以去学习，写得相当好，特意转载了过来，留念一下。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无

前言：FISTA（A fast iterative shrinkage-thresholding algorithm）是一种快速的迭代阈值收缩算法（ISTA）。FISTA和ISTA都是基于梯度下降的思想，在迭代过程中进行了更为聪明（smarter）的选择，从而达到更快的迭代速度。理论证明：FISTA和ISTA的迭代收敛速度分别为O(1/k2)和O(1/k)。　　本篇博文先从解决优化问题的传

台湾国立大学机器学习基石.听课笔记（第十三讲）：harzard  of overfitting1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein很小，Eout却很大。而Ein和 Eout都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。上图中，竖直的虚线左侧是"underfitting",左

你应该掌握的七种回归技术【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器

支持向量机通俗导论（理解SVM的三层境界）作者：July ；致谢：pluskid、白石、JerryLead。出处：结构之法算法之道blog。前言    动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不

机器学习方法的分类学，通过不同的分类标准来讨论。一，根据输出空间来分类。1， 分类(classification)1.1 二值分类 (binary classification)：输出为 {+1， -1}。1.2 多值分类 (multiclass classification)：输出为有限个类别，{1, 2, 3, ... , K}2， 回归(regression)输出

听课笔记（第七讲）： VC维理论 (台大机器学习）上一讲的最后得到了VC bound，这一讲对VC维理论进行理解，这是机器学习（最）重要的理论基础。一、VC Dimension的定义我们先对前面得到的生长函数和VC bound 做一点小的修改。  1，VC 维的定义

Lecture 6: Theory of Generalization（一般化（举一反三）的理论）一、Restriction of Break Point（切断点的限制）当break point k=2,N=3时，m_H(N)出现的情况。x_1、x_2和x_3两两之间都得满足k=2的条件，so we have a idea:

台湾国立大学机器学习基石.听课笔记（第十四讲）：Regularization1，Regularization Hypothesis set我们有上一讲的假设集合可知：我们发现发生overfitting的一个重要原因可能是假设过于复杂了，我们希望在假设上做出让步，用稍简单的模型来学习，避免overfitting。例如，原来的假设空间是10次曲线，很容易对数据过拟合；我们希望它变得

台湾国立大学机器学习基石.听课笔记（第八讲）：Noise and Error一、噪音与概率目标函数（Noise and Probalistic Target）1、几种错误：(1) noise in y: mislabeled data; (2) noise in y: different labels for same x;(3) noise in x: err

Lecture 5: Training versus Testing一、Recap and Preview（复习和预览）基于统计的学习流程：---》如果备选函数集的大小|H|=M，M有限，训练数据量N足够大，则对于学习算法A选择的任意备选函数h，都有  E-out(h)≈E-in(h)---》如果A找到了一个备选函数，使得E-in(h)≈0，则有很大概率E-out(h)≈0

提纲机器学习的可行性 & 訓練與測試内容如:1. 引入计算橙球概率问题2. 通过用Hoeffding's inequality解决上面的问题，并得出PAC的概念，证明采样数据学习到的h的错误率可以和全局一致是PAC的3. 将得到的理论应用到机器学习，证明实际机器是可以学习4. 二元分类的 Effective Number5. 一般备选函数的 Ef

台湾国立大学机器学习基石.听课笔记（第十五讲）：validation1，模型选择的问题(Model selection problem)我们在前面的10几讲中已经学到很多算法的模型，那我们在给出一个实际问题后，怎么选择模型呢？在实际情况中，很容易出现过拟合（overfitting）和计算量过大的问题，所以如何选择A_m和E_in是我们现在要解决的问题。

台湾国立大学机器学习基石.听课笔记（第九讲）：Linear Regression（线性回归）1、线性回归问题例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...），我们要预测可以给该客户多大的信用额度。 这样的问题就是回归问题。目标值y 是实数空间R。线性回归假设的思想是：寻找这样的直线/平面/超平面，使得输入数据的残差最小。通

台湾国立大学机器学习基石.听课笔记（第十六讲一）：Three Learning Principle一，Occam's Razor相对简单的模型，也许对数据的训练和测试得出来的结果更好。1，从数学理论说2，从逻辑上来说二， Sampling Biase根据数据的特点，我们做测试和训练时采的数据也要有特点。所以：1，训练和测试的数

台湾国立大学机器学习基石.听课笔记（第十六讲二）：Three Learning Principle机器学习基石16讲的总结1，机器学习的相关领域2，机器学习的理论基础3，机器学习的线性模型4，机器学习的工具5，机器学习的锦囊妙计6，我们将会学到

台湾国立大学机器学习基石.听课笔记（第十讲）：Logistic Regression上一讲是关于线性回归，重点是求解w 的解析方案(通过pseudo-inverse 求解w)。这一讲关注另一个很重要的方法，逻辑斯蒂回归(logistic regression)。1、逻辑斯蒂回归问题有一组病人的数据，我们需要预测他们在一段时间后患上心脏病的“可能性”，就是我们要考虑的问题

台湾国立大学机器学习基石.听课笔记（第十一讲）：Linear Models  of Classification 在上一讲中，我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类，因为它们对应的错误衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1，Linear Models for Bineary Classif

台湾国立大学机器学习基石.听课笔记（第十二讲）：Nonlinear Transformation前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC维的保证；然而，面对线性不可分的数据时（实际中也有许多这样的例子），线性方法不那么有效。今天我们就把他扩展到非线性问题。1、二次假设对于下面的例子，线性假设显然不奏效：我们可以看出，二次曲线

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值