机器学习
m0_37891619
这个作者很懒,什么都没留下…
展开
-
XGBOOST整理
1、目标函数首先说一下目标函数,机器学习常见的目标函数主要由两部分组成:损失函数和正则化项。Obj(Θ)=L(Θ)+Ω(Θ)Obj(\Theta) = L(\Theta) + \Omega(\Theta)其中L(Θ)=∑ni=1l(yi^,yi)L(\Theta)=\sum_{i=1}^{n}l(\hat{y_i}, y_i)的形式主要有两种:平方损失函数:l(yi^,y)=(yi^−yi)2l(\原创 2017-09-03 22:14:21 · 237 阅读 · 0 评论 -
斯坦福机器学习公开课(3)
1、参数学习算法和非参数学习算法参数学习算法:是一类有固定数目参数的以用来进行数据拟合的算法。非参数学习算法:它是一个参数数量会随着训练集大小m增长的算法。2、局部加权回归(Local Weight Regression):局部加权回归主要是选择一个θ\theta来拟合目标函数:∑mi=1ωi(y(i)−θx(i))\sum_{i=1}^{m}\omega_i(y^{(i)}-\theta x^{(原创 2017-09-11 22:55:45 · 308 阅读 · 0 评论 -
斯坦福机器学习公开课(4)
1、最速下降法和牛顿法1.1 最速下降法计算步骤如下:(1)给定初始点x(1)∈R(n)x^{(1)}\in R^{(n)},允许误差ϵ\epsilon>0,置k=1k=1;(2)计算搜索方向d(k)=−▽f(x(k))d^{(k)}=-\bigtriangledown f(x^{(k)});(3)若||d(k)||≤ϵ||d^{(k)}||\leq \epsilon,则停止计算;否则,从x(k)x原创 2017-09-15 18:47:28 · 355 阅读 · 0 评论