- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习优化模型——随机抽样的一般优化模型
文章目录4.1 随机抽样的一般优化模型4.1.1随机梯度优化算法（SG）4.1.2批量样本优化算法4.3 一阶优化算法及其理论分析4.3.1 引理4.1 随机抽样的一般优化模型假设我们的模型的在样本i上面的损失函数是ℓ(h(xi,w),Yi)\ell\left(\mathrm{h}\left(\mathrm{x}_{\mathrm{i}}, \mathrm{w}\right), \mathrm...
2020-03-20 22:04:17
1212
原创 机器学习优化模型——结构风险与正则化
结构风险及其一般优化模型经验误差做到最好，甚至到0，并不是一件好事，会造成严重的过拟合现象。因此，引入结构风险最小化的概念，来代替经验风险最小化。1. 经验风险最小和过拟合过拟合是不可以避免的，但是我们可以缓解。措施如下：增加样本数量和压缩特征数量提前退出训练结构风险最小和正则化结构风险由经验风险和正则化项（惩罚函数）组成：Rstr(f)=1N∑i=1NL(yi,f(xi))+...
2020-03-18 09:58:48
623
原创 机器学习优化模型——经验风险及其一般优化模型
文章目录1.经验风险及其一般优化模型1.1损失函数:1.2经验风险及其一般优化模型1.3泛化误差界1.4 经验风险与泛化误差概述2. VC维1.经验风险及其一般优化模型1.1损失函数:损失函数L(f(Xi),Yi)L(f(X_i),Y_i)L(f(Xi),Yi)是针对单个样本而言的,表示模型预测值与样本真实值之间的差距 。常见损失函数:1.0-1损失函数 f(x)={0,Y≠f(x...
2020-03-18 00:06:23
890
原创 机器学习优化模型——线性模型
文章目录线性模型1.基本形式1.1线性模型2.线性回归2.1线性回归2.2多回归任务：广义线性回归对数线性回归对数几率线性回归softmax回归线性判别回归局部线性判别分析特征选择多分类问题线性模型1.基本形式1.1线性模型每个样本xxx由ddd个特征描述：x=[x1,x2,...,xd]T∈Rdx=[x_1,x_2,...,x_d]^T\in R^dx=[x1,x2,...,xd...
2020-03-13 00:19:45
1086
原创 机器学习中优化模型预算法（一）最优化问题
一、最优化问题1.无约束优化 1.1 必要条件 一阶必要条件：梯度为0 二阶必要条件：二阶hessian矩阵半正定 1.2步长的搜索方法 设当前位置xkx^kxk，搜索方向为dkd^kdk，搜索步长aaa，xk+1=xk+adkx^{k+1}=x^k+ad^kxk+1=xk+adk. 1.精确一维线...
2020-03-05 21:05:06
466
翻译 Photometric Stereo Using Sparse Bayesian Regression for General Diffuse Surfaces
我们提出了一种纯像素方式的光度立体方法，通过假设外观可以分解为稀疏的非漫反射成分（例如，阴影，镜面反射等），可以稳定有效地处理各种非朗伯效应。 由表面法线和照明点积的单调函数表示的漫反射分量。该函数使用逆扩散模型的分段线性近似来构造，导致在没有非扩散损坏的情况下表面法线和模型参数的闭合形式估计。后者被建模为嵌入在分层贝叶斯模型中的潜在变量，使得我们可以精确地计算未知表面法线，同时将...
2019-09-03 12:26:34
427
原创 周志华《机器学习》第二章：模型评估与选择（2）
2.4 比较检验 在2.1~2.3节，我们讨论了评估学习器的实验评估方法和性能度量，看起来似乎已经完成了我们在本章开始时提出的任务：我们应该如何评价学得模型，并加以选择。但是具体怎么使用这些评估方法和性能度量呢？不是简单的直接应用，相反，学习器的性能比较是一件相当复杂的事情。首先考虑以下三个问题：我们最终要评估的是学习器的泛化性能，可是由2.2节可知，我们是通过学习器的测试误差来近似泛...
2019-08-03 11:46:54
698
1
原创 周志华《机器学习》第一章笔记+公式推导+课后习题
之前五月份因为要做一个水果分类的比赛，强行突击了台湾大学李宏毅老师的机器学习视频课，做比赛是够用了，但是没有系统的学习梳理过知识体系。暑假争取把导师推荐的书刷一遍，再做几个小项目，在开学之前把自己与别人的差距尽量缩小一些。Go fighting！ 用作者的话说，本书的主要目的就是为读者提供一张“初级地形图“，给初学者指路。故本书第一章主要介绍何为机器学习、机器学习相关基础概念、发展...
2019-07-02 16:38:39
1490
原创 Windows10+tensorflow+GPU配置
Windows10+tensorflow+GPU配置最近意识到写博客的重要性：1.可以建立自己的“数据库”，方便日后复盘，提高工作效率。2.掌握必要的排版知识，梳理自己的思路，锻炼自己的逻辑思维与写作能力3.将自己的心得与体会随时记录下来，并分享给他人，是一件很快乐的事情。本篇博客参考了网上一些博主的优秀文章，相关链接在文末，在此表示感谢！目标：利用GPU加速训练网络电脑配置：1....
2019-07-01 12:38:21
597
1
机器学习算法优化.zip
2020-03-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人