kdazhe的博客

线性回归误差项的估计

线性回归拟合系数的几个性质

权重衰减在贝叶斯观点下的理解摘要权重衰减摘要对于有过拟合的模型，我们经常会用权重衰减（weight decay）这一种正则化（regularization）的方法。本文介绍在贝叶斯视角下对权重衰减的理解。权重衰减一般情况下，假设我们原来的损失函数是 J(θ)\displaystyle J(\theta)J(θ)，加入权重衰减之后，损失函数就变成了 J(θ)+λ∑iwi2\displaystyle J(\theta) + \lambda \sum_i w_i^2J(θ)+λi∑​wi2​。其中 λ\l

Tensorflow 简单线性规划和罗辑回归

主成分分析（principal component analysis, PCA）公式主成分分析什么是主成分求解 PCA 的公式数学证明程序验证参考文献主成分分析什么是主成分要进行主成分分析（principal component analysis），我们首先要理解什么是主成分。假设我们的数据（红色的点）如下图所示。我们看到，每一个红色的点都有两个坐标，(x, y)(x, \, y)(x,...

单变量线性判别分析分类方法单变量线性判别分析用贝叶斯方法进行分类单变量线性判别分析分类参数估计程序实现参考文献单变量线性判别分析用贝叶斯方法进行分类线性判别分析与贝叶斯分类方法的关系十分紧密。我们先来看怎么用贝叶斯方法进行分类。假设我们有数据集{(X1,Y1),(X2, Y2),⋯ ,}\{(X_1, Y_1), (X_2, \, Y_2), \cdots, \}{(X1​,Y1​),(...

单变量线性回归的最小二乘法公式单变量线性回归线性回归系数的确定导数方法配方法简单程序验证单变量线性回归假设有nnn个点 (x1, y1), (x2, y2),⋯ , (xn, yn)(x_1, \, y_1), \, (x_2, \, y_2), \cdots, \, (x_n, \, y_n)(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)， 我们希望用一个线性关系y=β0+β...