机器学习
可大侠
真好
展开
-
基于二阶近似方法的优化算法
参考文章深度学习(花书)梯度下降法、牛顿法和拟牛顿法 - Eureka的文章 - 知乎梯度下降法与牛顿法比较 - 王多鱼的文章 - 知乎【最优化】无约束优化方法-牛顿法 - 忆臻的文章 - 知乎泰勒公式-百度百科二阶梯度方法使用二阶导数改进了优化,最广泛使用的时牛顿法牛顿法思想用目标函数的二阶泰勒展开近似该目标函数,通过求解这个二次函数的极小值来求解凸优化的搜索方向牛顿法的主要应用在两个方面:1.求方程的根;2. 最优化预备知识一元泰勒展开式此次使用一元泰勒展开式原创 2020-11-04 14:04:53 · 2073 阅读 · 1 评论 -
机器学习之特征选择(feature_selection)
文章目录选取特征子集选择过程1. 子集搜索(subset search)2. 子集评价(subset evaluation)特征选择方法1. 过滤式(Filter)ReliefRelief-F2.包裹式(wrapper)LVM3.嵌入式(embedding)岭回归(ridge regression)LASSO选取特征子集当前存在的问题从初始的特征集合选取包含所有重要信息的特征子集,若没有任何领域知识作为先验假设,那只好遍历所有可能的子集,这实际上并不可行,会遇到组合爆炸,特证数稍多就不行可行原创 2020-10-30 13:13:21 · 2174 阅读 · 0 评论 -
降维--PCA学习笔记
目录向量表示与基变换1.1 内积1.2 基1.3 基变换的矩阵表示参考文章https://www.zhihu.com/search?type=content&q=PCAPCA(Principal Component Analysis)是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。PCA 的数学推导可以从最大可分型和最近重构性两方面进行前者的优化条件为划分后方差最大,后者的优化条件为点到划分平面距离最小这里我将从最大可分性的角度进行证明。向量表示原创 2020-10-24 22:42:51 · 517 阅读 · 0 评论