qq_44955314的博客

所谓的L1正则化优化问题，就是如下带L1L_1L1​正则化的最小化问题：因为L1L_1L1​正则项的不可微性，使得利用梯度相关方法直接求解上面的优化问题有困难。下面介绍的方法，是把这个L1L_1L1​优化问题，变换为多个L2L_2L2​正则化优化问题逐步迭代求解。把不等式∣ab∣≤12(a2+b2)|ab| \leq \frac12 \left( a^2 + b^2 \right)∣ab∣≤21​(a2+b2)应用到θ\thetaθ向量中的每个元素：就有：其中C≜diag(c)\mathbf{C}\

SVM:大间距分类器Large Margin IntuitionSVM hypothesis:min⁡C∑i=1m[y(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))]+12∑i=1nθj2\min C\sum^m_{i=1}[y^{(i)}cost_1(\theta ^Tx^{(i)})+(1-y^{(i)})cost_0(\theta ^Tx^{(i)})]+\frac{1}{2}\sum^n_{i=1}\theta^2_jminCi=1∑m​[y(i)cost1​(

问：什么情况下，数据越多算法性能越好？答：A learning algorithm with many paramenters.many parameters/特征值有足够的信息量  ⟹  \implies⟹low biasa very large training set（more than parameters）  ⟹  \implies⟹low variance∵\because∵ 训练集比参数多∴\therefore∴ 算法不会过拟合∴Jtrain(θ)≈Jtest(θ)\theref

Numerical Evaluation用数值评价指标来估计算法的执行结果 可以看出学习算法的效果。在自然语言处理中，可用stemming software（词干提取软件）实现；在搜索引擎中搜Porter Stemmer这种软件进行词干提取。但它们都只处理单词的前几个字母。可以使用交叉验证（not error analysis）在使用词干提取和不使用词干提取条件下分别看看其结果。Need numerical evaluation(e.g.,cross validation error) of algo

Building a spam classierxxx = features of email, yyy = spam(1) or not spam (0).Features xxx: Choose 100 words indicative of spam/not spam.如何提高精确度？更多样本（收集更多数据）e.g. “honeypot” project更加复杂特征值（发件人信息(from email header)、邮件正文(e.g.感叹号)）用复杂算法检测错误拼写1Recomm

通过赋予神经网络不同的权值可以实现逻辑运算。AND与：有0出0，无0出1。则hΘ=g(−30+20x1+20x2)h_\Theta=g(-30+20x_1+20x_2)hΘ​=g(−30+20x1​+20x2​)，x1x_1x1​x2x_2x2​hΘh_\ThetahΘ​00g(−30)≈0g(-30)\approx0g(−30)≈001g(−10)≈0g(-10)\approx0g(−10)≈010g(−10)≈0g(-10)\approx0g(−10

随机初始化对于梯度下降/高级优化算法，必须初始化Θ\ThetaΘ.optTheta = fminunc(@costFunction, initialTheta, options)实现fminunc，要设置initialTheta.Consider gradient descent设置 initialTheta = zeros(n,1)?phenomenon: 每次更新后，两个隐藏单元依然以相同的函数作为输入来计算。1result: 只能学习一种特征。Random initializati

梯度检测目的验证BP的正确性（代码能够正确计算出代价函数J的导数）。因为BP容易出现bug，此时神经网络的误差会比无bug高出一个量级，且此时无法知道是由bug引起的。% Numerical estimation of gradientsfor i = 1:n, thetaPlus = theta; thetaPlus(i) = thetaPlus(i) + EPSILON; thetaMinus = theta; thetaMinus(i) = thetaMinus(i) - EPSILO

Advanced optimizationfunction [jVal, gradient] = costFunction(theta)...optTheta = fminunc(@costFunction, initialTheta, options)注：gradient∈Rn+1\in{R^{n+1}}∈Rn+1，theta,initialTheta∈Rn+1\in{R^{n+1}}∈Rn+1均为向量。例如：Neural Network(L=4):Θ(1),Θ(2),Θ(3)\Thet