往最优秀方向-CSDN博客

原创机器学习基石HOW BETTER部分(2)

机器学习基石HOW BETTER部分(2)标签：机器学习基石第十四章minimizes augmented error, where the added regularizer effectively limits model complexity主要思想：将假设函数从高次多项式降至低次。发生overfitting的一个重要原因可能是假设过于复杂了，我们希望在假设上做出让步，用稍简单的模型来学习，避

2015-12-18 11:07:54 403

原创机器学习基石HOW BETTER部分(4)

机器学习基石HOW BETTER部分(4)标签：机器学习基石第十六章奥卡姆剃刀（Occam’s Razor）哲学意义：剃掉过分的解释。机器学习：对训练数据最简单的解释就是最好的。 The simplest model that fits the data is also the most plausible. 以前讲过简单的hypothesis，也就是看起来简单。只要简单参数。简单的mode

2015-12-18 11:02:09 360

原创机器学习基石HOW BETTER部分(3)

机器学习基石HOW BETTER部分(3)标签：机器学习基石第十五章(crossly) reserve validation data to simulate testing procedure for model selection模型选择问题做二元分类，可以有的选择真的好多啊。每一种的选择就多，最后实现，还是选择的组合。把模型选择问题一般化一下，就是如下的定义：有M个模型，每个模型有其对

2015-12-18 11:01:33 375

原创机器学习基石HOW BETTER部分(1)

机器学习基石HOW BETTER部分(1)标签：机器学习基石第十三章overfitting happens with excessive power, stochastic/deterministic noise, and limited dataunderfitting：EINE_{IN}和EoutE_{out}都很大。 overfitting：EINE_{IN}很小，但是EoutE_{out}

2015-12-18 11:00:14 415

原创机器学习基石HOW部分(4)

机器学习基石HOW部分(4)标签：机器学习基石第十二章nonlinear via nonlinear feature transform ϕ\phi plus linear with price of model complexity前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC 维的保证；然而，面对线性不可分的数据时（实际中也有许多这样的例子），线性方法不那么有效。

2015-12-18 10:59:37 451

原创机器学习基石HOW部分(3)

机器学习基石HOW部分(3)标签：机器学习基石第十一章binary classification via (logistic) regression; multiclass via OVA/OVO decomposition所有的回归算法，经过一些修改，就可以用来做分类。但是分类算法无论怎么改都不能做回归。前面的章节介绍了三种线性模型，PLA、Linear Regression与Logistic R

2015-12-18 10:59:02 395

原创机器学习基石HOW部分(2)

机器学习基石HOW部分(2)标签：机器学习基石第十章gradient descent on cross-entropy error to get good logistic hypothesis从方程的形式、误差的衡量方式、如何最小化EinE_{in}的角度出发之前提过的二元分类器如PLA，其目标函数为， f(x)=sign(wTx)∈−1,+1，f(x)=sign(wTx)∈{−1,+1}，输出要

2015-12-18 10:58:26 370

原创机器学习基石HOW部分(1)

机器学习基石HOW部分(1)标签：机器学习基石第九章analytic solution wLIN=X†yw_{LIN} = X^†y with linear regression hypotheses and squared error从方程的形式、误差的衡量方式、如何最小化EinE_{in}的角度出发，并简单分析了Hat Matrix的性质与几何意义，希望对线性回归这一简单的模型有个更加深刻的理

2015-12-18 10:56:58 353

原创排序之希尔排序

Shell Sort希尔排序(Shell Sort)是插入排序的一种。是针对直接插入排序算法的改进。该方法又称缩小增量排序，因DL．Shell于1959年提出而得名。该方法的基本思想是：先将整个待排元素序列分割成若干个子序列（由相隔某个“增量”的元素组成的）分别进行直接插入排序，然后依次缩减增量再进行排序，待整个序列中的元素基本有序（增量足够小）时，再对全体元素进行一次直接插入排序。因为直

2015-11-20 11:58:22 325

原创排序之插入排序

insertion sorting有一个已经有序的数据序列，要求在这个已经排好的数据序列中插入一个数，要求插入此数据后，序列仍然有序。每次插入一个数据，就需要和序列中的其他数据作比较，所以时间复杂度是O(n^2)。这么大的时间复杂度，很明显这个排序适合用来做少量数据的排序。插入排序是稳定排序，也就是说，两个相同元素，在排序后前后没发生变化。最差情况：反序，需要移动n*(n-1)/2

2015-11-20 10:44:52 478

原创 Lecture 3：Types of Learning（各种类型的机器学习问题）

Lecture 3：Types of Learning（各种类型的机器学习问题）3.1 Learning with Different Output Space（不同类型的输出空间）用患者患病的例子讲述二元分类、多元分类和回归分析的差别。1. binaryclassification（二元分类问题）银行发信用卡问题就是一个典型的二元分类问题，其输出空间只包含两个标记+1和-1，分别

2015-09-05 19:32:06 630

原创 Lecture 2: Learning to Answer Yes/No(学会回答是非)

Lecture 2: Learning to Answer Yes/No(学会回答是非)PLA A takes linear separable D and perceptrons H to get hypothesis g2.1 Perceptron Hypothesis Set(感知器的假设空间)首先还是讲讲什么是perceptron。perceptron--感知器，感

2015-09-03 21:56:07 405

原创 Lecture 1: The Learning Problem(学习问题)

Lecture 1.The Learning Problem(学习问题)1.1 CourseIntroduction（课程介绍） 1.2WhatIs Machine Learning（什么是机器学习）学习与机器学习：学习：观察 -> 学习 -> 得到技能机器学习：数据 -> 机器学习 -> 得到技能从上述对比之中就大致可以知道什么是机器学习。

2015-08-07 17:09:00 430

原创 Python学习之始

想要学Python已经想了很久了。大一入学的时候，接触了一下Python，学了用它来抓一个网页。具体操作我早就不记得了，记得的是当时成功抓到内容的时候自己的成就感。终于，现在又开始重拾Python，时间过去了接近一年了。在网上下载了Python简明教程的电子版，内容不深入，但是让人兴趣盎然。边看教程边敲代码，一晚上我沉浸在其中。要不是真的太困了，我想我是可能熬夜把书

2015-07-16 23:28:53 291

原创 2015年每周一赛第六场1001. Cow Baseball

DescriptionFarmer John's N cows (3 As Farmer John watches, he observes a group of three cows (X,Y,Z) completing two successful throws. Cow X throws the ball to cow Y on her right, and then cow Y

2015-04-11 22:43:15 629

Huang22