小学生的博客

设原损失函数为：L(x,θ)L(x,\theta)L(x,θ)，其中模型参数为：θ\thetaθ。带L1L_1L1​正则项的损失函数为：J1(x,θ)=L(x,θ)+λ∥θ∥1J_1(x,\theta)=L(x, \theta)+\lambda\parallel\theta\parallel_1J1​(x,θ)=L(x,θ)+λ∥θ∥1​，带L2L_2L2​正则项的损失函数为：J2(x,θ)=L(x,θ)+λ∥θ∥2J_2(x,\theta)=L(x, \theta)+\lambda\parallel\

在看《动手学深度学习》一书时，里面有介绍简化版的对RNN求梯度。其中求隐含层梯度时，作者只是简略地说了句“将上⾯的递归公式展开”就直接给出了结果，下面我详细地给出中间步骤。αLαht=Whh⊤⋅αLαht+1+Wqh⊤⋅αLαOt\frac{\alpha L}{\alpha h_t} = W^{\top}_{hh} \cdot \frac{\alpha L}{\alpha h_{t+1}} + W^{\top}_{qh} \cdot \frac{\alpha L}{\alpha O_t} αht​

首先给出拉格朗日函数： L(w,b,α)=12∥w∥2−∑i=1Nαiyi(w⋅xi+b)+∑i=1Nαi（公式1）L(w,b,α)=12∥w∥2−∑i=1Nαiyi(w⋅xi+b)+∑i=1Nαi（公式1）\begin{equation*} L(w,b,\alpha)=\frac{1}{2}{\parallel}w{\parallel}^2- \sum\limits_{i=1}^{N}\al...

转载请注明出处：http://mp.blog.csdn.net/mdeditor一、问题描述首先以不严谨的方式给出标准形式的优化问题（具体请参考《凸优化》——Boyd，第五章），：min f0(x)f0(x)f_0(x)s.t.fi(x)≤0,i=1,2,⋅⋅⋅,mfi(x)≤0,i=1,2,⋅⋅⋅,m\quad f_i(x)\le0,\quad i = 1, 2, \cdot\c...

sklearn.neural_network 中的 MLPClassifier 的部分文档翻译

转载请注明出处：http://blog.csdn.net/u014540876/article/details/79331341今天遇到一个绘制图像的函数：ax.plot(xMat)，其中的参数是Mat类型的，然后就查了不少资料，却没有找到一篇解释这种情况的文章，颇费了些功夫，最终才明白绘制出的图像与参数xMat的关系。特地在此记录一下，也让自己记得更牢固。 一、当参数xMat是m*1的矩阵...

转载请注明出处：http://blog.csdn.net/u014540876/article/details/791158051、高斯混合模型的公式表达高斯混合模型是指随机变量x具有如下形式的分布（概率密度函数）： (公式1) 其中，参数θθθ代表所有混合成分的参数（均值向量μ与协方差矩阵Σ）的集合： (公式2) 每个混合成分的概率密度函数为： (...