qingxuanmingye的博客

决策树算法梳理1.信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）信息引用香农的话，信息是用来消除随机不确定性的东西这个是熵和信息增益的基础概念，是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物，或者用其他名称来命名这种抽象事物，这种抽象事物是客观存在的。如果带分类的事物集合可以划分为多个类别当中，则某个类（xi）的信息（量）定义如下：I(x)用来表示随机变量的信息，...

线性回归算法梳理1.机器学习的一些概念有监督无监督泛化能力过拟合（方差和偏差以及各自解决办法）欠拟合交叉验证2.线性回归的原理3.线性回归损失函数、代价函数、目标函数4.优化方法（梯度下降法、牛顿法、拟牛顿法）5.线性回归的评估指标6.sklearn参数详解1.机器学习的一些概念有监督监督学习，最直接印象就是数据是否存在对应的标签。通过标签进行分类。无监督无监督学习，样本数据没有...

逻辑回归算法梳理1.逻辑回归与线性回归的联系与区别2.逻辑回归的原理3.逻辑回归损失函数推导及优化4.正则化与模型评估指标5.逻辑回归的优缺点6.样本不均衡问题解决办法7.sklearn参数参考文档1.逻辑回归与线性回归的联系与区别逻辑回归(Logistic Regression)与线性回归(Linear Regression)都属于广义线性回归模型。在分类问题中，预测属于某类的概率，可以看...