carmazhao的专栏

AbstractThis paper details the ID3 classification algorithm. Very simply, ID3 builds a decision tree from a fixed set of examples. The resulting tree is used to classify future samples. The example

设对于某个事件 x, 发生的概率是 p(x), 对应的"信息量"是 I(x).性质1. p(x) = 0  =>  I(x) = +\inf (正无穷大)2. p(x) = 1  =>  I(x) = 03. p(x)>p(y)  =>  I(x)含义是概率为 0 的事件对应的信息量大, 反之信息量少.我们概率老师举的例子是: 皇家马德里与中国队踢, 那么皇马赢的概率...

VC维的直观定义是：对一个指标函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h种形式分开，则称函数集能够把h个样本打散；函数集的VC维就是它能打散的最大样本数目h。若对任意数 目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义 （1）平面内只能找到3个点能被直线打散：直线只能把一堆点分成两堆，对于3个点，要分成两堆加

n the following paragraph, we discuss the method of Lagrange multipliers(拉格朗日乘子法), for solving the problem of conditional extreme values. Assume the object function to be  and the co