机器学习
文章平均质量分 52
罗古洞的女婿
保持热情
展开
-
Relu反向传播
当某一层的输入大于0时,对应反向传播时该层的梯度等于上一层反传回来的梯度,因为此时认为RELU对应梯度为1。当某一层的输入小于0时,该层对应梯度置零。relu在0点是不可导的,在0点的梯度要自定义0或1。...原创 2021-07-28 10:59:55 · 809 阅读 · 0 评论 -
线性回归二三事
目录一、线性回归定义二、概率角度看线性回归三、线性回归正则化四、贝叶斯角度看正则化五、线性回归扩展一、线性回归定义目标:给定一个数据集(具有样本和标签的有监督数据集),拟合出一条最符合给定数据的直线(本质就是拟合出一条最符合所有样本与其标签的函数,当然这里的直线是广义直线,数据样本一般都不是一维的)。如上图,目标就是拟合出f(w),即目标就是根据一个采样得到的数据集来估计出参数向量w的值。参数估计方法:最小二乘法,即参数估计中的最小二乘估计。一种直观的解释是.原创 2021-07-22 20:50:57 · 1034 阅读 · 2 评论 -
概率论基础
目录一、随机变量二、概率分布三、边缘概率四、条件概率五、期望,方差,协方差六、常见概率分布七、Dirac分布与经验分布八、分布的混合九、常用函数及其性质十、贝叶斯规则一、随机变量随机变量是可以随机地取不同值的变量,不同值即随机变量不同的状态。一个随机变量只是对可能的状态的描述,它必须伴随着一个概率分布来指定每个状态的可能性。 随机变量可以是离散的或者连续的。 离散型随机变量拥有有限或可数无限多的状态,这些状态也不一定都是数值...原创 2021-07-22 14:05:38 · 1737 阅读 · 3 评论 -
机器学习(1)绪论
目录机器学习概念基本术语-数据基本术语-任务基本术语-泛化能力样本空间、假设空间、版本空间样本空间:假设空间:版本空间:归纳偏好没有免费午餐定理(NFL)机器学习概念基本术语-数据基本术语-任务基本术语-泛化能力样本空间、假设空间、版本空间注意区分样本空间,假设空间与版本空间。样本空间:是属性张成的空间,比如这里属性都可以看成是离散值,一共3个属性,每个属性有三种取值,张成一个3维的样本空间,里边一共有3*3*3=2原创 2020-05-08 23:14:33 · 877 阅读 · 0 评论 -
机器学习之特征向量维度与样本空间
样本空间:以样本的属性为坐标轴张成的多维空间,也叫属性空间,输入空间。 实际问题中,样本的属性就是样本的特征向量,所以样本的特征向量维度越高,张成的样本空间就越大,如果样本的特征向量是二维的(x, y),则样本空间是是一个二维空间,即一个平面,如果特征向量是三维的(x, y, z),张成的样本空间就是三维空间,我们现实世界中的每一个物体的坐标就可以用三维的特征向量来描述。当然这两...原创 2019-10-24 19:21:41 · 8830 阅读 · 0 评论