weixin_42283422的博客

文章目录1.什么是线性回归2.最大似然估计（MLE）3.利用正规方程求解（矩阵求导）4.梯度下降1.什么是线性回归这里引用百度百科的解释：利用数理统计中的回归分析，来确定变量间相互依赖的定量关系的一种统计分析方法，其表达形式为 y(i)=wTx(i)+e(i)y^{(i)} = w^Tx^{(i)}+e^{(i)}y(i)=wTx(i)+e(i)，eee为误差（用来代替统计误差或者抽样误差），它服从均值为0的标准正态分布。例如成年人的月收入与月消费的关系，二者之间肯定存在某种关系。在求解之前，通常会给

文章目录1、特征值与特征向量2、SVD的定义1、特征值与特征向量       在了解SVD分解前，先回顾一下特征值与特征向量。假设矩阵AAA为n阶方阵，向量viv_ivi​满足：Avi=λviAv_i=λv_iAvi​=λvi​用矩阵表示所有特征值与所有特征向量的关系则为：A∗V=V∗diag(λ1,λ2,...)A*V=V*diag(λ_1,λ_2,...)A∗V=V∗diag(λ1​,λ2​,...)因此只要满足上面的等式

文章目录什么是决策树熵、条件熵ID3、C4.5CART什么是决策树      决策树可以简单理解为是一种根据特征信息不断分裂，直至达到某一阈值（可以是max_depth、min_node_leafs等）分裂结束，就是一串的if…then…结构。那么谁作为第一个if判断的特征呢？这就需要熵、条件熵、信息增益登场了。熵、条件熵      熵是表示随机变量Y不确定的度量，熵越大则越混乱越无法确定；越小则越肯定，例如拜登是男的，entropy