机器学习
手书阿水
这个作者很懒,什么都没留下…
展开
-
机器学习:逻辑回归总结(上)
首先逻辑回归是一种有监督的分类问题,名字中含有回归二字,是因为在多年前关于回归与分类的定义与现在有所不同,这一历史原因造成逻辑回归可以视为广义的线性模型在因变量y服从二元分布时的一种特殊情况;在使用最小二乘法求解线性回归时,认为因变量y服从正态分布为了能够得到最终的分类结果,我们引入sigmoid函数将利用回归模型得到的数值映射到(0,1)区间,其后通过比较映射结果与给定阈值的大小关系得到最终...原创 2019-12-27 15:23:08 · 272 阅读 · 0 评论 -
sigmoid函数手推求导
sigmoid函数因其连续单调且可微等特点被广泛运用,如逻辑回归sigmoid函数图像如下(图片来自百度百科):以下是sigmoid函数的求导步骤,并得到其导函数与自身的关系...原创 2019-12-27 14:43:30 · 328 阅读 · 0 评论 -
机器学习:模型评估与性能度量总结
#1、常见术语说明过拟合:模型由于学习的“太好”,在训练集上表现很好(训练误差小),而在新样本上表现很差(泛化误差大)。欠拟合:与过拟合相对的概念,模型对训练集还没有完全学习好,在训练集上就表现不好(训练误差大)。误差:模型预测值与真实值之间的差异。训练误差(经验误差):模型在训练集上的误差。泛化误差:模型在新样本上的误差。#2、模型评估方法利用训练样本(“训练集”)之外的测试样本(...原创 2019-12-20 16:47:35 · 2897 阅读 · 0 评论 -
机器学习:随机森林RF总结
1、随机森林(Random Forest,简称RF),顾名思义就是以树为基本单位的集成学习模型。每棵树都会得到一个分类结果,进行投票,森林最终选择投票最多的类别作为最终结果。随机体现在,用于训练单个决策树的样本与特征是通过随机选择产生。其中样本的抽取多选择有放回的随机抽取。随机抽取的优点在于极大地避免了因为决策树之间过高的的相似性从而导致的过拟合问题。2、决策树的生长模式:如果训练集中的样本数...原创 2019-12-19 17:43:08 · 1847 阅读 · 0 评论 -
机器学习:决策树总结
决策树是一种基于树状结构进行决策的策略,是一种有监督的机器学习算法决策树优点: 简单易懂 易解释 可视化 适用性广 既可以处理离散值也可以处理连续值(ID3只能处理离散值) 可用于寻找重要特征变量 不需要提前归一化预处理 使用决策树预测的代价是O(log2m)O(log_2m)O(log2m), m为样本数。决策树缺点: 容易过拟合。可以通过设置节点最少样...原创 2019-12-18 17:59:13 · 747 阅读 · 0 评论 -
机器学习之:SVM总结
机器学习之:SVM总结SVM是一种有监督的学习方法,主要针对小样本数据进行学习、分类和预测,类似的根据样本进行学习的方法还有决策树归纳算法等。在解决小样本、非线性及高维模式识别中表现出许多特有优势,多用于解决二分类问题SVM(Support Vector Machine即支持向量机)核心思想,即构建一个超平面,使得该超平面能将不同类别的样本间隔开(单纯只是满足将不同类别样本隔开的超平面可能有很...原创 2019-12-18 12:18:40 · 1094 阅读 · 0 评论