2015年08月_Paul-Huang

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

原创台湾国立大学机器学习基石.听课笔记（第十六讲二）：Three Learning Principle

台湾国立大学机器学习基石.听课笔记（第十六讲二）：Three Learning Principle机器学习基石16讲的总结1，机器学习的相关领域2，机器学习的理论基础3，机器学习的线性模型4，机器学习的工具5，机器学习的锦囊妙计6，我们将会学到

2015-08-31 21:52:20 823

原创台湾国立大学机器学习基石.听课笔记（第十六讲一）：Three Learning Principle

台湾国立大学机器学习基石.听课笔记（第十六讲一）：Three Learning Principle一，Occam's Razor相对简单的模型，也许对数据的训练和测试得出来的结果更好。1，从数学理论说2，从逻辑上来说二， Sampling Biase根据数据的特点，我们做测试和训练时采的数据也要有特点。所以：1，训练和测试的数

2015-08-31 21:40:16 932

原创台湾国立大学机器学习基石.听课笔记（第十五讲）：validation

台湾国立大学机器学习基石.听课笔记（第十五讲）：validation1，模型选择的问题(Model selection problem)我们在前面的10几讲中已经学到很多算法的模型，那我们在给出一个实际问题后，怎么选择模型呢？在实际情况中，很容易出现过拟合（overfitting）和计算量过大的问题，所以如何选择A_m和E_in是我们现在要解决的问题。

2015-08-27 22:30:11 894

原创台湾国立大学机器学习基石.听课笔记（第十四讲）：Regularization

台湾国立大学机器学习基石.听课笔记（第十四讲）：Regularization1，Regularization Hypothesis set我们有上一讲的假设集合可知：我们发现发生overfitting的一个重要原因可能是假设过于复杂了，我们希望在假设上做出让步，用稍简单的模型来学习，避免overfitting。例如，原来的假设空间是10次曲线，很容易对数据过拟合；我们希望它变得

2015-08-25 10:15:27 970

转载卷积的本质及物理意义（全面理解卷积）

卷积的本质及物理意义提示：对卷积的理解分为三部分讲解1）信号的角度2）数学家的理解（外行）3）与多项式的关系1 来源卷积其实就是为冲击函数诞生的。“冲击函数”是狄拉克为了解决一些瞬间作用的物理现象而提出的符号。古人曰：“说一堆大道理不如举一个好例子”，冲量这一物理现象很能说明“冲击函数”。在t时间内对一物体作用F的力，倘若作用时间t很小，作用力F很大，但让Ft的乘积不变，即冲量

2015-08-24 17:19:36 5080 2

原创台湾国立大学机器学习基石.听课笔记（第十三讲）：harzard of overfitting

台湾国立大学机器学习基石.听课笔记（第十三讲）：harzard of overfitting1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein很小，Eout却很大。而Ein和 Eout都很大的情况叫做 underfitting。这是机器学习中两种常见的问题。上图中，竖直的虚线左侧是"underfitting",左

2015-08-21 11:26:48 832

转载你应该掌握的七种回归技术

你应该掌握的七种回归技术【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器

2015-08-21 10:44:58 799 1

原创台湾国立大学机器学习基石.听课笔记（第十二讲）：Nonlinear Transformation

台湾国立大学机器学习基石.听课笔记（第十二讲）：Nonlinear Transformation前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC维的保证；然而，面对线性不可分的数据时（实际中也有许多这样的例子），线性方法不那么有效。今天我们就把他扩展到非线性问题。1、二次假设对于下面的例子，线性假设显然不奏效：我们可以看出，二次曲线

2015-08-20 16:43:24 730

原创台湾国立大学机器学习基石.听课笔记（第十一讲）：Linear Models of Classification

台湾国立大学机器学习基石.听课笔记（第十一讲）：Linear Models of Classification 在上一讲中，我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类，因为它们对应的错误衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1，Linear Models for Bineary Classif

2015-08-19 17:54:11 835

原创数字图像处理与机器视觉用到的Matlab语句

第三章图像的点运算3.1 imhist 和stem 3.2 imadjust 3.5 im2bw 和 graythresh 3.7/3.8 histeq第四章图像的几何变换4.2 strel, translate, imdilate

2015-08-19 10:49:42 1480

原创台湾国立大学机器学习基石.听课笔记（第十讲）：Logistic Regression

台湾国立大学机器学习基石.听课笔记（第十讲）：Logistic Regression上一讲是关于线性回归，重点是求解w 的解析方案(通过pseudo-inverse 求解w)。这一讲关注另一个很重要的方法，逻辑斯蒂回归(logistic regression)。1、逻辑斯蒂回归问题有一组病人的数据，我们需要预测他们在一段时间后患上心脏病的“可能性”，就是我们要考虑的问题

2015-08-17 16:44:15 1023

原创台湾国立大学机器学习基石.听课笔记（第九讲）：Linear Regression

台湾国立大学机器学习基石.听课笔记（第九讲）：Linear Regression（线性回归）1、线性回归问题例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...），我们要预测可以给该客户多大的信用额度。这样的问题就是回归问题。目标值y 是实数空间R。线性回归假设的思想是：寻找这样的直线/平面/超平面，使得输入数据的残差最小。通

2015-08-14 22:57:05 968

翻译台湾清华彭明辉教授的研究生手册

Before you try... Before you try to solve a problem, define it. Before you try to control a process, understand it. Before trying to control everything, find out what is important. Start by pi

2015-08-14 16:55:57 1102

原创台湾国立大学机器学习基石.听课笔记（第八讲）：Noise and Error

台湾国立大学机器学习基石.听课笔记（第八讲）：Noise and Error一、噪音与概率目标函数（Noise and Probalistic Target）1、几种错误：(1) noise in y: mislabeled data; (2) noise in y: different labels for same x;(3) noise in x: err

2015-08-11 16:52:39 775

转载拉格朗日乘子法和KKT条件

拉格朗日乘子法和KKT条件拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多经典的求解方法，参见无约束最优化方法。拉格朗日乘子法先来看

2015-08-11 11:19:52 616

原创稀疏学习

Sparse, L1-minimization, Compressive SensingSparse大家并不陌生，是个经典话题了。而此时sparse已经卷土重来，虽然还是那一锅汤，但是药已经换了。以L1-minimization为核心的算法，近几年飞速进展，Compressive Sensing (Compressive Sampling) 已然成为数学领域和信号处理最前沿最热门的方向

2015-08-10 22:00:02 1315 1

原创台湾国立大学机器学习基石.听课笔记（第七讲）：The VC Dimension

听课笔记（第七讲）： VC维理论 (台大机器学习）上一讲的最后得到了VC bound，这一讲对VC维理论进行理解，这是机器学习（最）重要的理论基础。一、VC Dimension的定义我们先对前面得到的生长函数和VC bound 做一点小的修改。 1，VC 维的定义

2015-08-10 11:37:16 996

原创台湾国立大学机器学习基石.听课笔记（第六讲）：一般化（举一反三）的理论

Lecture 6: Theory of Generalization（一般化（举一反三）的理论）一、Restriction of Break Point（切断点的限制）当break point k=2,N=3时，m_H(N)出现的情况。x_1、x_2和x_3两两之间都得满足k=2的条件，so we have a idea:

2015-08-01 11:47:01 2111