![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习经典算法
文章平均质量分 74
diudiu~bo
CV算法
展开
-
机器学习算法笔记-随机森林与集成算法
随机森林(RF)集成算法(E内设目标了learning)RF梯度提升树(GBDT)Boosting模型Stacking集成算法(E内设目标了learning)目的:让机器学习效果更好,类似集成电路。集成学习Bagging:训练多个模型取平均(各模型相互独立,并行)Boosting:从弱学习期开始,通过加权来进行训练(隔膜型间存在关系,串行),随机森林就是一种BaggingStacking:聚合多个分类或回归模型RF随机森林:每次从训练集中随机选择一定比例的数据,作为决策树的输入数据,因为原创 2021-08-27 20:26:58 · 151 阅读 · 0 评论 -
机器学习算法笔记-决策树
决策树(DT)树模型如何切分特征衡量标准如何选择特征衡量决策树不纯度的方法剪枝策略树模型决策树:从根节点开始一步步走到叶子节点(决策)所有的数据最终都会落到叶子节点,既可以分类也可以回归。决策树对于特征判断的顺序比较严格,如果判断顺序不同,最终的结果可能不同树的组成:根节点、非叶子结点与分支、叶子节点如何切分特征衡量标准熵:表示随机变量不确定性的度量,即混乱程度。不确定性越大,得到的熵值也就越大。信息增益:表示特征X使得类Y的不确定性减少的程度(分类后的结果希望都是同类)。如何选原创 2021-08-27 17:52:38 · 99 阅读 · 0 评论 -
机器学习算法笔记-聚类
聚类算法k-means聚类DBSCAN聚类k-means聚类相比于之前的线性回归和逻辑回归,k-means聚类算法属于无监督问题,因为没有标签,所以评估比较困难。k-means的基本概念:1.要得到簇的个数,需要指定k值2.质心:均值,即向量各维的平均3.距离的度量:常用欧氏距离得距离和余弦相似度(先标准化)4.优化目标:每一簇内所有点离质心的距离最短。优点和缺点:优点,简单,快速,适合常规数据集。缺点,k难确定,复杂度与样本呈线性关系,很难发现任意形状的簇(就是形状比较随意的那种)。原创 2021-08-27 15:34:29 · 424 阅读 · 0 评论 -
机器学习算法笔记-逻辑回归
逻辑回归(LR)我的理解是,逻辑回归就是以改进的线性回归的方法求分类,改进的内容就是引入了非线性函数,最常用的就是sigmoid函数。如下图就是sigmoid函数,横轴z = 0时,纵轴g(z) = 0.5,z趋向于负无穷时,g(z)趋向于0,z趋向于正无穷时,g(z)趋向于1。其中z = thetaT * X,g(z)表示概率,逻辑回归目标函数的推导见下图。逻辑回归最经典的是二分类函数,二分类回归常用的损失函数就是交叉熵损失函数。如果想要处理多分类回归问题,比如3类,那么就把它拆分成3个二分类问原创 2021-08-26 16:39:32 · 87 阅读 · 0 评论 -
机器学习算法笔记-线性回归的实验过程
线性回归的实验过程参数直接求解方法数据预处理梯度下降模块学习率对结果的影响二级目录三级目录参数直接求解方法如下图所示,根据目标函数的极值可以直接求出参数theta的表达式,用这种方法也可以直接求出线性回归的最终结果,但是这种方法并非适用于所有数据,因为theta的求解公式中包含了特征矩阵的逆矩阵,求解逆矩阵是有前提条件的,不是所有的矩阵都有你军阵,因此这种方法并不总是适用的,而且这是一种纯粹的数学推导,与机器学习的思想是不符的。数据预处理这里数据预处理模块主要指数据标准化。如下图,作图是标准化后的原创 2021-08-26 12:11:25 · 492 阅读 · 0 评论 -
机器学习算法笔记-评价
评价方法交叉验证集混淆矩阵(confusion matrix)评价指标阈值对结果的影响交叉验证集平时我们常用的是把数据集分成训练集和测试集,但是每训练一次就用测试集测试一次,如果测试结果不好还要再训练,这样就比较麻烦,因此就要用到交叉验证集了,那么什么是交叉验证集呢?如下图,把原来的训练集分出一小部分作为验证集,在验证时使用训练集和验证集中的所有数据,那么这两部分数据集组合在一起就叫交叉验证集。我的理解是,训练集的精度高,代表训练的偏差小,验证集的精度高,说明方差小,也就是鲁棒性好。一般来说我们肯定原创 2021-08-25 20:21:06 · 257 阅读 · 0 评论 -
机器学习算法笔记-线性回归
机器学习算法笔记-线性回归线性回归的概念线性回归的表达线性回归的误差线性回归的目标函数参数求解与更新梯度下降学习率参考视频资料:https://www.bilibili.com/video/BV1rq4y1p7nJ?p=10&spm_id_from=pageDriver线性回归的概念我的理解是,假如有1个或多个特征量xi,根据这些特征量的重要性赋予其不同的参数(权重),将被赋予参数的所有特征量(xi必须是一次项)相加,就能够得到一个目标预测值y。记-线性回归)线性回归的表达比如预测贷款额原创 2021-08-25 17:13:47 · 90 阅读 · 0 评论