- 博客(4)
- 收藏
- 关注
RSS订阅原创 回归
线性回归线性回归的方法为最小二乘法。用Y=X.Tw表示拟合结果，其中X.T表示X的转置，w为回归系数。其损失函数为残差的平方和：为了求损失函数的极小值，对w求偏导，并另偏导=0，得到回归系数的计算公式：局部加权线性回归局部加权回归为待测点附近的每个点赋予一定的权重，回归系数w可以表为:其中W为权重，是一个对角矩阵。类似于核函数，选择高斯核函数权重可计算为：与测试点距离越近，其权重就会越大。k为一个...
2018-03-16 22:22:42
206
原创 Logistic回归
Logistic回归本质上是在对现有数据的分类边界建立回归公式，以此进行分类。这一点与支持向量机（SVM）类似，SVM也是在最优化分类边界。但SVM选择边界的原则是使边界离支持向量（数据集中离边界最近的点）尽可能远，而Logistic回归是选择最佳拟合曲线，即使拟合结果与标记结果的残差平方和最小。Logistic回归使用Sigmoid函数作为分布函数，将在正无穷到负无穷范围内的输入集X映射到[0,...
2018-03-16 19:34:48
200
原创 决策树
决策树是一个if-then规则的集合，不断选取某一既定特征的既定取值作为分类条件，将数据集划分成一个个子集，直到最终形成叶节点。所以算法的关键步骤在于对分类特征的选择。决策树常用的学习算法有三种：ID3，C4.5和CART。其中ID3和C4.5形成的树每一层可能有大于两个的节点，每层的节点数对应于其根节点可取值的个数，通过计算信息增益或信息增益比选取最优的分类特征。而CART树是二叉树，即每次将数...
2018-03-15 23:00:01
306
原创 k-NN
k-NN算法是一种很简单的分类算法。简单来讲，它没有训练的过程，只是简单粗暴的计算输入特征与训练集中特征点的距离，然后选这些距离中最小的k个值，根据这k个值所对应数据点的类别情况预测输入实例的分类情况。所以，k-NN算法的三个基本要素为：距离度量， 分类决策规则， k值。距离度量两个特征的距离反应了它们的相似程度。可以选择Lp距离计算：一般取p=2，即欧几里得距离。k值 ...
2018-03-11 21:39:27
2461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人