u010745111的专栏

最大熵原理当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。（不做主观假设这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫"最大熵模型"。我们常说，不要把所有 的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保

SVM概率输出Libsvm安装、使用Libsvm数据集格式转换Libsvm官网

人工神经网络（ANN） > longxinchen_1128_2015-11-30_221922.jpg" height="250" src="http://wiki.sankuai.com/download/attachments/550600864/longxinchen_1128_2015-11-30_221922.jpg?version=1&modificationDate=1471676

背景知识：二元的分类问题比如“是否为乳腺癌二分类问题”，我们可以用线性回归的方法求出适合数据的一条直线:  逻辑回归（LR） > 24225255-58bb5f12f94449c093ae4a87e3dfc7bc.gif" height="400" src="http://wiki.sankuai.com/download/attachments/550797985/242

背景知识：我们拿到一个有标记的数据集后，会想，如果我能有个数学公式来预测lable就好了。这个数学公式可能长这样：wTx。 接下来我们就想，我们预测的准确吗？于是我们想到了一些验证准确性的函数，或者换句话，预测结果与真实结果误差的函数，也就是损失函数。我们可能会找到很完美的数学公式，让损失函数最小，但是这仅仅是训练集上的。。。可能在测试集或其他数据集上就会表现很差，这个现象就是过拟

一、理论训练流程：1    估计初值2    按如下方式构造M颗树      2.1    随机选取部分样本作为本颗树的训练数据      2.2    按如下方式寻找最优分裂点，进行N次叶子节点的分裂                 2.2.1    对当前所有叶子节点                               2.2.1.1