机器学习
文章平均质量分 73
甄知一二
南七技校在读博
展开
-
K-means和逻辑回归
一个事件的几率是该事件发生的概率/该事件不发生的概率:P/(1-P)对数几率是:log(P/(1-P))**考虑对输入x分类的模型:**log(P/(1-P))=wx 则 P=exp(w线性函数越接近于正无穷,概率越接近1、线性函数越接近于负无穷,概率越接近0逻辑回归就是线性回归+sigmoid。原创 2024-04-12 20:37:10 · 583 阅读 · 0 评论 -
支持向量机
SVM线性可分支持向量机–硬间隔最大化数据线性可分函数间隔:y*(wx+b) y表示类别符号、wx+b表示点距离超平面的距离。表示分类预测的正确性和确信度,但是成比例改变w\b,函数间隔会变成2倍,几何间隔就是w=1,真实的图上间隔支持向量:训练数据集的样本中与分离超平面距离最近的样本的实例在决定分离超平面时只有支持向量起作用,其他实例点不起作用,支持向量个数很少,所以支持向量机由少数重要的训练样本确定。线性可分支持向量机的学习策略就是几何间隔最大化,可形式化为一个求解凸二次规划(co转载 2021-07-21 09:50:11 · 444 阅读 · 0 评论 -
决策树 感知机
感知机对输入实例的特征向量进行二分类的线性分类模型损失函数是:误分类点到分离超平面的总距离当训练集线性可分时,感知机算法收敛,存在无数多解,由于不同初值可能不同。感知机不能表示异或KNN有监督学习简介:存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的转载 2021-07-21 09:49:00 · 656 阅读 · 0 评论 -
boost bagging
Bagging Boosting对比两者优缺点及区别Bagging的主要作用是降低方差,而Boosting的主要作用是降低偏差。Boosting能降低偏差很好理解,因为其原理就是将多个弱学习器组合成强学习器bagging,多个模型平均起来,降低方差结合加权**多数投票(分类)或加权求和(回归)**以产生最终预测。Boosting 与 bagging 等方法的主要区别是基础学习器通过加权的数据进行顺序训练。感知机对输入实例的特征向量进行二分类的线性分类模型损失函数是:误分类点到分离超平原创 2021-07-06 22:17:19 · 548 阅读 · 0 评论 -
特征工程
树模型树模型对数据倾斜相对不敏感特征选择如果一个特征的方差接近于0,说明几乎没什么变化,就没用,Filter过滤:根据设定阈值过滤方差wrapper包装:每次选择若干特征进行学习Embedded嵌入:先使用机器学习算法得到特征的权重系数SVD奇异值分解将一个矩阵data分解为多个矩阵相乘,data是m*nU E UT ,分别为 mm mn nn 其中E是对角阵,对角元素是datadata^T特征值的平方根优点:简化数据,去除噪声,提高算法的结果缺点:数据转换之后可能难以理解标原创 2021-07-02 21:18:12 · 98 阅读 · 0 评论 -
机器学习概念
正则化平滑w 越小,表示 function 较平滑的, function输出值与输入值相差不大在很多应用场景中,并不是 w 越小模型越平滑越好,但是经验值告诉我们 w 越小大部分情况下都是好的。b 的值接近于0 ,对曲线平滑是没有影响误差、偏差、方差准:bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容易过拟合 (overfitting),过拟合原创 2021-07-02 21:17:49 · 117 阅读 · 0 评论 -
机器学习统计学基础
条件概率P(A)就是一种先验概率,先验概率:是指根据以往经验和分析得到的概率.P(A|B)就是一种后验概率,后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小p(a|b)p(b)=p(b|a)p(a)=p(b*a)期望 方差分布二项分布是离散分布,正态分布是连续分布。N(μ,σ^2 )。遵从正态分布的随机变量的概率规律为取 μ邻近的值的概率大 ,而取离μ越远的值的概率越小;σ越小,分布越集中在μ附近,σ越大,分布越分散。标准化正态分布,变成N转载 2021-06-20 16:00:16 · 168 阅读 · 0 评论