小非的博客

逻辑回归定义： 逻辑回归是一种解决二分类（0 or 1）问题的机器学习方法，用于估算某种事物的可能性。 逻辑回归和线性回归的关系 联系 都是广义线性回归模型（generalized linear model) 逻辑回归去掉Sigmoid映射函数的话，就算是一个线性回归。 区别 线性回归得到的是一个连续的结果，而逻辑回归得到的是一个离散的结果。 优缺点 优点 高效，不需要太大的计算量，又通俗易...

这虽然是篇关于算法的学习笔记，但主要是在机器学习的范畴内的算法学习，同时这也是我正式入门机器学习的第一篇学习笔记，所以这里首先介绍一下机器学习的有关概念 机器学习概念介绍 有监督学习 它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。一句话：给定数据，预测标签。 无监督学习 它从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它...

一、信息论基础 熵（信息熵）：衡量不确定性的程度。熵值越大，不确定程度越大，也就是说明所含信息越多；相反，熵值越小，不确定程度越小，也就是说明所含信息越小；在决策树的应用中，熵用来衡量样本的纯度，熵越小，样本越纯，表明分类的效果越好。 其公式如下： H(X)=−∑k=1mpklnpkH(X)=-\sum_{k=1}^mp_klnp_kH(X)=−k=1∑m​pk​lnpk​ 其中，pkp_kp...