- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 BFGS算法
BFGS算法牛顿迭代算法函数f(x) 的二阶泰勒展式 f(x)=f(x(k))+gTk(x−x(k))+12(x−x(k))THk(x−x(k))gk=f′(x(k))Hk=[∂2f∂xi∂xj]n∗nf(x) = f(x^{(k)}) + g_k^T(x-x^{(k)}) + \frac12 (x-x^{(k)})^TH_k (x - x^{(k)})\\g_k=f'(x^{(k)}) \
2017-03-29 10:30:06
2555
原创 高斯混合聚类
高斯混合聚类高斯混合模型p(Y|θ)=∑k=1Kakϕ(Y|θk)p(Y|\theta)= \sum_{k=1}^K a_k \phi(Y|\theta_k)其中 ϕ(Y|θk)=12π‾‾‾√δkexp(−(y−uk)22δ2k)∑k=1Kak=1\phi(Y|\theta_k) = \frac{1}{\sqrt{2\pi}\delta_k} \exp(- \frac {(y-u_k)^
2017-03-22 17:01:06
1230
原创 EM算法
EM算法首先举一个含有隐变量的例子有三枚硬币A,B,C,首先抛A硬币，如果A正面朝上则抛B，如果A 反面朝上则抛C，我们只记录B,C硬币的结果。这个过程重复N次得到观测到的结果Y={y1,y2,…,yN}Y=\{y_1,y_2,…,y_N\},现在要求计算出A，B，C正面朝上的概率分别是多少。我们设每次抛硬币过程中，A硬币的结果为Z。因为Z是无法观测到的，我们称它为隐变量。记θ\theta ={P(
2017-03-22 16:41:00
421
原创 异常检测
异常检测假设样本由N维高斯分布产生，由高斯分布可知，大多数的样本概率密度比较高，少量的样本的概率密度比较小，所以我们可以先用正常的样本训练出高斯分布，然后用这个模型来计算新的样本，如果其概率密度小于某一值，就可以认为该样本是异常的。如果样本有N个属性，那么可以训练出N维高斯分布，但由于计算量太大了，我们可以假设样本每个维度都符合高斯分布，那我没就可以训练出N个一维的高斯分布了。模型参数： μ1,μ2
2017-03-22 15:46:40
557
原创 正则化
正则化正则化一般的形式如下 ∑i=1ML(yi,f(xi;θ))+λJ(f)\sum_{i=1}^M L(y_i, f(x_i;\theta)) + \lambda J(f) 正则化项一般是模型复杂度的单调递增函数。当模型越复杂的时正则化项越大，而当模型越复杂的时候就越容易产生过拟合。因此我们不仅要最小化损失函数，同时还要减小模型的复杂度。防止过拟合，提高泛化能力。上式中 λ\lambda
2017-03-22 15:22:35
412
原创 GBDT(Gradient Boosting Decision Tree)
GBDT(Gradient Boosting Decision Tree)1.提升树提升树模型的基分类器为决策树，每次训练的结果影响下一次训练的决策树。我们这里只谈回归问题，训练的结果为M个决策树相加。对于二分类问题只需把AdaBoost算法的基分类器换为决策树。用前向分步模型表示 fm(x)=fm−1(x)+T(x;θm)f_m(x) = f_{m-1}(x) + T(x;\theta_m)
2017-03-21 16:25:32
359
原创 局部加权线性回归（LWLR）
局部加权线性回归（LWLR）对于线性回归算法，容易出现欠拟合，而多项式回归又容易出现过拟合。因此出现了局部加权回归模型y(i)=θT⋅x(i)y^{(i)}=\theta^T \cdot x^{(i)}和线性回归的模型相同，但是对于每一个预测点，θ\theta都需要重新计算，并不是固定不变的。损失函数L(θ)=12M∑i=1mwi(yi−θTxi)2L(\theta)= \frac 1 {2M
2017-03-17 11:00:06
4227
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人