![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Zoro1996
佛系更新
展开
-
机器学习优化模型——随机抽样的一般优化模型
文章目录4.1 随机抽样的一般优化模型4.1.1随机梯度优化算法(SG)4.1.2批量样本优化算法4.3 一阶优化算法及其理论分析4.3.1 引理4.1 随机抽样的一般优化模型假设我们的模型的在样本i上面的损失函数是ℓ(h(xi,w),Yi)\ell\left(\mathrm{h}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{w}\right), \mathrm...原创 2020-03-20 22:04:17 · 1214 阅读 · 0 评论 -
机器学习优化模型——结构风险与正则化
结构风险及其一般优化模型经验误差做到最好,甚至到0,并不是一件好事,会造成严重的过拟合现象。因此,引入结构风险最小化的概念,来代替经验风险最小化。1. 经验风险最小和过拟合过拟合是不可以避免的,但是我们可以缓解。措施如下:增加样本数量和压缩特征数量提前退出训练结构风险最小和正则化结构风险由经验风险和正则化项(惩罚函数)组成:Rstr(f)=1N∑i=1NL(yi,f(xi))+...原创 2020-03-18 09:58:48 · 623 阅读 · 0 评论 -
机器学习优化模型——经验风险及其一般优化模型
文章目录1.经验风险及其一般优化模型1.1损失函数:1.2经验风险及其一般优化模型1.3泛化误差界1.4 经验风险与泛化误差概述2. VC维1.经验风险及其一般优化模型1.1损失函数:损失函数L(f(Xi),Yi)L(f(X_i),Y_i)L(f(Xi),Yi)是针对单个样本而言的,表示模型预测值与样本真实值之间的差距 。常见损失函数:1.0-1损失函数 f(x)={0,Y≠f(x...原创 2020-03-18 00:06:23 · 894 阅读 · 0 评论 -
机器学习优化模型——线性模型
文章目录线性模型1.基本形式1.1线性模型2.线性回归2.1线性回归2.2多回归任务:广义线性回归对数线性回归对数几率线性回归softmax回归线性判别回归局部线性判别分析特征选择多分类问题线性模型1.基本形式1.1线性模型每个样本xxx由ddd个特征描述:x=[x1,x2,...,xd]T∈Rdx=[x_1,x_2,...,x_d]^T\in R^dx=[x1,x2,...,xd...原创 2020-03-13 00:19:45 · 1089 阅读 · 0 评论 -
机器学习中优化模型预算法(一)最优化问题
一、最优化问题1.无约束优化 1.1 必要条件 一阶必要条件:梯度为0 二阶必要条件:二阶hessian矩阵半正定 1.2步长的搜索方法 设当前位置xkx^kxk,搜索方向为dkd^kdk,搜索步长aaa,xk+1=xk+adkx^{k+1}=x^k+ad^kxk+1=xk+adk. 1.精确一维线...原创 2020-03-05 21:05:06 · 467 阅读 · 0 评论