基础学习
家有琦琦果
这个作者很懒,什么都没留下…
展开
-
基础学习---均值,标准差,方差,协方差的注意点以及编程过程注意点
均值,标准差,方差,协方差的注意点以及编程过程注意点概念理解协方差协方差矩阵编程注意概念理解基本公式:参考:详细参考这里均值即为样本的平均值,标准差为散布度协方差协方差是一种用来度量两个随机变量关系的统计量,我们可以仿照方差的定义:来度量各个维度偏离其均值的程度,标准差可以这么来定义:从定义上看,协方差仅能处理二维数据,但是对于多维的情况,就需要协方差矩阵了。从协方差的定义上我们也可以看出一些显而易见的性质,如:协方差矩阵从这个理解:可见,协方差矩阵是一个对称的矩阵,而且对原创 2020-12-28 12:54:11 · 473 阅读 · 0 评论 -
机器学习笔记——学习曲线的绘制
机器学习笔记——学习曲线的绘制为何要绘制学习曲线学习曲线高偏差(bias)的情况高方差(variance)情况重点总结高方差(high variance)高偏差(high bias)如何改变 λ 对拟合函数的影响来看看在神经网络上的应用为何要绘制学习曲线如何你要检查算法运行是否正常或者希望优化算法的表现那么就需要一款工具来实现,学习曲线就是一个很好的工具。同样的,使用学习曲线可以检查出算法是处于偏差问题还是方差问题,或者是二者皆有!学习曲线先来看看数据样本数量与误差之间的关系,通过下图看一下:原创 2020-08-31 15:36:37 · 2139 阅读 · 0 评论 -
机器学习笔记——正则化(Regularization)对偏差(bias)和方差(variance)的影响
机器学习笔记——正则化Regularization对偏差bias和方差variance的影响正则化正则化剖析如何选择λ ?正则化正则化的概念参考这里:机器学习笔记——正则化(Regularization)正则化剖析通过这个图片看一下:式中λ /2m 是添加的是正则化参数,其中λ 对回归函数的影响见图中。过大或者过小都是不行的。如何选择λ ?参看下图:选择不同的λ 分别进行测试,注意λ选择的时候,一般以2倍的步长增长。分别计算出对应的J(cv)θ,选择误差最小的,比如图中的选择为θ^5,原创 2020-08-31 14:40:11 · 3752 阅读 · 0 评论 -
机器学习笔记——偏差(bias)、方差(variance)与欠拟合(under fit)、过拟合(over fit)
机器学习笔记——偏差bias、方差variance与欠拟合under fit、过拟合over fit先回顾一下概念欠拟合(under fit)过拟合(over fit)如何区分欠拟合?过拟合?一般的处理方法先回顾一下概念参考这里的博文,机器学习笔记——正则化(Regularization)看一下什么欠拟合(under fit)、过拟合(over fit)的情况。欠拟合(under fit)左边采用一条直线拟合数据,可以明显地看到单条直线不能完全拟合现有数据点。称之为欠拟合。同样的可以看到,这条直线原创 2020-08-31 14:10:13 · 1282 阅读 · 0 评论 -
机器学习笔记——梯度检查(Gradient Checking) ——差分法
梯度检查Gradient Checking ——差分法原因实现方法在实数范围内差分算法差分法在高纬度中使用神经网络中梯度检测的重要性原因之间讲过的线性回归还是逻辑回归,都是用到了梯度下降法,这里有个问题需要拿出来考虑一下:由于各种因素,导致你在程序中实现的算法会出现一些BUG,带着这些BUG算法也能实现使成本函数(Cost function)呈现出下降的趋势,但是,由于BUG的存在,导致你的算法最后实现的结果 出现较大的偏差,但是,你此时并不知道已经发生的问题。举个栗子(可能不恰当,仅仅是帮助理解)原创 2020-08-27 12:32:31 · 2669 阅读 · 0 评论 -
机器学习笔记——正则化(Regularization)
机器学习笔记——正则化(Regularization)过度拟合(Overfit)线性回归(classification Regression)逻辑回归(Logistic Regression)为什么会出现过拟合现象?解决方式减少特征数量正则化正则化如何选择参数惩罚参数的选择梯度下降法的正则化正规方程的正则化不可逆矩阵的正则化逻辑回归函数的正则化过度拟合(Overfit)了解正则化之前,先来看看什么是过拟合。所谓的过拟合,就是说目前的函数表达式能够完全拟合已知的所有的数据点,但是,对于新给出的数据点,原创 2020-08-26 15:57:13 · 3559 阅读 · 3 评论 -
机器学习笔记——逻辑回归算法(Logistic Regression)
机器学习笔记——逻辑回归算法(Logistic Regression)正名分类算法回归算法思考分类问题逻辑回归函数逻辑回归函数逻辑回归分类函数的理解决策边界example (1)example (2)如何选择表达函数?逻辑回归函数成本函数(1)恶性肿瘤的分析(2)良性肿瘤的分析优化写法逻辑回归函数的梯度下降优化算法线性回归的梯度下降法和逻辑回归的梯度下降法是一样的吗?小技巧线性回归的监控是否收敛 同样适用逻辑回归特征缩放 / 归一化 同样适用逻辑回归逻辑回归算法的高级优化灵活应用逻辑回归函数:正名避免原创 2020-08-25 18:19:52 · 1049 阅读 · 0 评论 -
机器学习笔记——线性拟合及梯度下降
机器学习笔记——线性拟合及梯度下降线性拟合为什么要构造代价函数(1)从特殊情况:过原点的直线看起,只有一个参数的情况(2)从非特殊情况:不过原点的直线看起,有两个参数的情况梯度下降法梯度下降法数学含义梯度下降法下降方向的选择实现梯度下降法的学习率(每一步走多大?)批量梯度下降法线性拟合从这里开始,给出dataset,找出一条直线拟合,因为使用一条直线去拟合,所以叫做线性拟合。我们要找出这条曲线的表达式来表征这条直线,如下:这个是我们的假设函数:我们最终是要求出上面表达式中的未知数:为求出这原创 2020-08-23 15:03:53 · 2582 阅读 · 0 评论 -
机器学习笔记——监督学习/无监督学习分类笔记
机器学习笔记——监督学习/无监督学习分类笔记监督学习回归(Regression)分类(Classfication)无监督学习监督学习给出一数据组,并已知晓这组数据的对应关系,然后给出一组新的数据,尝试对其进行预测和分析,这里注意,提前给出的数据组(datasheet)是已知内部的数据的对应关系,后面给出的新的数据,是要依据对之前数据的学习后,给出新的数据对应的预测值。而对于预测的结果的不同,又将监督学习分为分类(Classfication)和回归(Regression)回归(Regression)比原创 2020-08-22 17:12:49 · 1729 阅读 · 0 评论 -
核面几何 学习
核面几何基础概念转自这里基础概念当我们使用针孔摄像机拍摄图像时,我们会丢失重要信息,图像的深度。或者图像每个点离摄像机有多远,因为这是一个3D到2D的转换。所以我们是否能找到深度信息就变得很重要。回答是使用多个摄像机。我们的眼睛也是类似的方法,我们使用两个摄像机(双眼),这被叫做立体影像。所以我们看看OpenCV提供了什么。在更进一步之前,我们先明白一些多视几何的基础概念。在本节里,我们会用核面几何处理。看下面的图像显示了两个摄像机对同一个场景拍摄图像的基本设置。如果我们只用左边的摄像机,我们没法转载 2020-06-25 13:33:56 · 385 阅读 · 0 评论