机器学习
文章平均质量分 94
liyiersan123
这个作者很懒,什么都没留下…
展开
-
过拟合解决方案之正则化
1.过拟合问题对于过拟合问题,通常原因是模型选择太过复杂,也有可能是训练数据太少。对于模型太复杂的情况,我们一般有如下考虑:一是通过分析删除部分特征(比如重复多余的特征或者对输出值贡献不太大的特征),但是这样有可能会损失一部分信息。所以,我们可以通过正则化的方法来降低参数值,从而避免过拟合问题。对于过拟合问题的详细描述,可以查看我的另一篇博客机器学习之欠拟合与过拟合。2.正则化回顾一下,在回...原创 2019-11-13 11:40:29 · 318 阅读 · 0 评论 -
机器学习之欠拟合与过拟合(一)
机器学习之欠拟合与过拟合(一)1.欠拟合(underfitting)与过拟合(overfitting)在机器学习中,我们的主要思想是通过对数据集的学习来生成我们的假设模型。在对数据集进行拟合的过程中,我们可能会遇到欠拟合和过拟合的问题。以身高预测的例子为例,这里给出7-18岁男生的身高标准(数据来源:7 岁~18 岁儿童青少年身高发育等级评价),如图1:将中位数随年龄的变化绘制成散点图,如...原创 2019-11-09 20:30:59 · 538 阅读 · 0 评论 -
线性回归之梯度下降法原理介绍
线性回归之梯度下降法1.梯度的概念梯度是一个向量,对于一个多元函数fff而言,fff在点P(x,y)P(x,y)P(x,y)的梯度是fff在点PPP处增大最快的方向,即以f在P上的偏导数为分量的向量。以二元函数f(x,y)f(x,y)f(x,y)为例,向量{∂f∂x,∂f∂y}∣(x0,y0)=fx(x0,y0)i→+fy(x0,y0)j→\{\frac{\partial f}{\partia...原创 2019-11-07 22:45:28 · 1448 阅读 · 0 评论 -
线性回归之最小二乘法公式推导和原理介绍
1.最小二乘法的原理最小二乘法的主要思想是通过确定未知参数θ\thetaθ(通常是一个参数矩阵),来使得真实值和预测值的误差(也称残差)平方和最小,其计算公式为E=∑i=0nei2=∑i=1n(yi−yi^)E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})E=∑i=0nei2=∑i=1n(yi−yi^),其中yiy_iyi是真实值,yi...原创 2019-11-07 22:41:25 · 23499 阅读 · 4 评论 -
机器学习之回归篇(一)
机器学习之回归篇(一)一、综述 回归就是从一组数据出发,确定某些变量之间的定量关系式,也就是建立数学模型并估计未知参数。回归的目的是预测数值型的目标值,它的目标是接受连续数据,寻找最适合数据的方程,并能对特定的值进行预测。其中所寻求的方程叫做回归方程,求解回归方程,首先要确定模型,最简单的回归模型就是简单线性回归(例如y = kx + b),然后就是求回归方程的回归系数(即k和...原创 2019-10-20 19:17:10 · 263 阅读 · 0 评论 -
分类算法之逻辑回归(Logistic Regression)
分类算法之逻辑回归(Logistic Regression)1.二分类问题现在有一家医院,想要对病人的病情进行分析,其中有一项就是关于良性\恶性肿瘤的判断,现在有一批数据集是关于肿瘤大小的,任务就是根据肿瘤的大小来判定是良性还是恶性。这就是一个很典型的二分类问题,即输出的结果只有两个值----良性和恶性(通常用数字0和1表示)。如图1所示,我们可以做一个直观的判定肿瘤大小大于5,即为恶心肿瘤(...原创 2019-11-08 22:20:44 · 421 阅读 · 0 评论