Rosalind_Xu的博客

参考链接：集成学习方法bagging，boosting，stacking【入门】一文看懂集成学习（详解 bagging、boosting 以及他们的 4 点区别）【详细，建议看】集成学习（Ensemble Learning)【全面】什么是集成学习？简单来说，就是组合多种模型来改善机器学习的结果。具体来说，即结合数个“好而不同”的机器学习技术，形成一个预测模型，以此来降方差（bagging），减偏差（boosting），提升预测准确性（stacking）。集成学习是一种「训练思路」，并不.

SVM基础定义分类器 监督算法代价函数基于逻辑回归的代价函数，我们逐步调节实现SVM的代价函数：修正cost(i)图中的紫色线为更正之后的cost.消去常数1/m权重常数位置改变最终得到的代价函数数学形式为：J(θ)=C∑i=1m[y(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i)))]+λ/2∑j=1nθj2J(\theta)=C\sum_{i...

神经网络反向传播算法BP详细推导过程

神经网络神经网络算法的目的Logistic回归和线性回归很难或者不能处理复杂的非线性分类问题。很多分类问题需要使用数量巨大的特征，如果要使用二次项表示，会产生更多的特征项。模型表示神经元——逻辑单元如图所示，是一个人工的神经元，它负责将输入信息进行加工之后输出。其中，第一部分代表的是输入，x0=1x_0=1x0​=1为偏置单元；第二部分是神经元，对于输入使用激励函数进行加工；第...

Logistic回归目的是解决分类问题，线性回归不能很好的解决分类问题，这是因为分类问题并不能拟合成为一条直线。假设函数为了使得分类更加方便，最好输出值在0到1之间。sigmod函数正好能够满足这个特点：g(z)=11+ezg(z)=\frac{1}{1+e^z}g(z)=1+ez1​因此对于假设函数进行如下变换hθ(x)=g(θTx)h_{\theta}(x)=g(\theta^...

多变量线性回归假设hθ(x)=θ0+θ1x1+θ2x2+θ3x3+θ4x4h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4hθ​(x)=θ0​+θ1​x1​+θ2​x2​+θ3​x3​+θ4​x4​为了表示方便，我们定义一个单纯为了计算方便的特征，也就是x0=1x_0=1x0​=1.此时hθ(x)=θT...

机器学习是什么？定义一：机器学习是无需显式编程就能使得计算机自主学习的学科。定义二：如果计算机随着经验E的积累，在任务T上用标准P衡量的表现越来越好，那么可以说计算机正在学习。应用实例数据挖掘不能够用手写代码实现的应用，比如无人驾驶。分类主要分类：监督学习无监督学习其他：3. 强化学习4. 推荐系统监督学习意即给出一个算法，需要部分数据集已经有正确答案，换句话说...

参考内容：统计相关系数(3)——Kendall Rank(肯德尔等级)相关系数及MATLAB实现作用： Kendall相关系数是一个用来测量两个随机变量相关性的统计值。肯德尔相关系数的取值范围在-1到1之间，当τ为1时，表示两个随机变量拥有一致的等级相关性；当τ为-1时，表示两个随机变量拥有完全相反的等级相关性；当τ为0时，表示两个随机变量是相互独立的。适用范围斯皮尔曼等级相关系数对数据...

参考链接：什么是信息增益(Information Gain)？信息熵到底是什么首先建立一棵决策树。信息增益是一个统计量，用来描述一个属性区分数据样本的能力。信息增益越大，那么决策树就会越简洁。这里信息增益的程度用信息熵的变化程度来衡量。假如我们所做的决策是是否出去玩，属性有风力、潮湿度等等。那么在有统计样本S的情况下，计算某属性信息增益的步骤如下：计算不用属性区分的情况下，决策属...

Section 1 分类监督学习：从输入模型中预测合适的模型，从中计算出目标变量。必须知道预测什么，即目标变量的分类信息。目标变量分为标称型和数值型两类，在第一部分分类当中研究标称型的目标变量。1. 机器学习基础1.1 何谓机器学习简单来说，机器学习就是把无序的数据来转化为有用的信息。例子：专家系统。测量所有可测属性（特征），然后从中挑选出重要部分。算法训练，学习如何分类。输入大...