- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度学习各优化算法
深度学习中，在进行损失函数J的优化及参数寻优时，用到的均是梯度下降法。而其他优化算法均是在此基础上进行的一定改进。批梯度下降（BGD）：就是没有任何优化的梯度下降，我们每一次循环都是对整个训练集进行学习。用此方法计算量较大，迭代时间长。 随机梯度下降（SGD）：相比于批量梯度下降而言，随机梯度下降每次从样本中随机抽取一个样本，进行其损失函数并对参数进行更新。此方法计算速度快，但不太稳定，损失函数的起伏较大，且未用到向量化方法。 mini-batch梯度下降：是对上述两种方法的一个改进，将数据集中的样
2021-10-31 15:26:04
610
原创 机器学习模型对比
1.SVM和LR（逻辑回归）1.1 相同点都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。 都是判别模型。通过决策函数，判别输入特征之间的差别来进行分类。常见的判别模型有：KNN、SVM、LR。 常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。1.2 不同点损失函数不同，LR的损失函数为交叉熵;svm的损失函数自带正则化，而LR需要在损失函数的基础上加上正则化。 两个模型对数据和参数的敏感程度不同。SVM算法中仅支持向量起作用，大部分样本的增减对模型无影响；而L
2021-08-04 18:21:45
1069
原创 sklearn中的线性回归合集
引言：线性回归模型的种类有很多，如lasso回归、岭回归及逻辑回归等。同时，根据求解函数的不同，又可以衍生到线性分类。接下来将一一介绍。1 概述 回归是一种应用广泛的预测建模技术，这种技术的核心在于预测的结果是连续型变量。通常，我们可以通过矩阵和代数这两个角度来理解模型，在这里，我们采用矩阵的角度来理解。2.多元线性回归LinearRegression2.1 定义 多元线性回归就是指一个样本有多个特征的线性回归问题，对于有n个特征的i样本而言，它的回归结果...
2021-07-30 16:55:03
1027
1
原创 西瓜书第六章——支持向量机
引言：支持向量机可以说是数学推导过程最复杂的算法了吧。支持向量机分为硬间隔SVM、软间隔SVM以及核函数SVM。其中硬间隔支持向量机是严格将样本进行分类处理，软间隔SVM则允许部分样本分类错误。SVM有三宝：间隔、对偶及核技巧。接下来我将按照西瓜书的脉络，来梳理支持向量机的原理及在sklearn中的部分实现过程及相关参数。1.1 间隔和支持向量 给定训练集样本，分类学习最基本的思想就是基本训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。支持向量机...
2021-07-27 20:27:29
565
原创 西瓜书第四章--决策树
4.1 基本流程 顾名思义，决策树是基于树结构来进行决策的一种机器学习算法。一般来说，一颗决策树由一个根节点、若干个内部节点和若干个叶节点组成，其中叶节点对应最终决策结果，其他节点对应一个属性测试（即条件判断）。 决策树学习的目的：产生一颗泛化能力强，处理未见示例强的决策树模型。其基本流程如下： 可以看出，决策树学习的关键是第8行，从众多的属性中选择最优划分属性。那么这个过程怎么实现呢？实现过程见4.2。值得注意的是，不管是任何一个指标，其最终...
2021-07-18 12:51:52
156
原创 西瓜书第三章--线性回归
3.1 基本形式 线性模型的基本形式如下： 其中w为（w1,w2,w3,.....wd);注意，w/b/y/xi等均为列向量！ 优点：线性模型形式简单，并且可以通过引入层状结构或是高维映射来得到非线性模型；此外，w相当于各个x的权重，使得模型具有很好的可解释性。3.2 线性回归 线性回归的形式和基本形式一样，如下所示： 在实际问题中，w和b的选择采用“最小二乘法”来确定，其中最小二乘法是指基于均方误差最小化来进行模型求解的方法。在线性回归中，最小二乘法...
2021-07-14 17:07:05
725
原创 解读西瓜书—chap1
1.1 基本术语机器学习目标：使学得的模型能较好的适应于“新样本”。学习/训练 从数据中学习得到模型的过程 训练集 训练过程中用到的样本 标记/标签 样本集的表现/输出 测试 学习得到模型后，利用样本对其进行测试的过程，其中所用到的样本为测试集。 泛化 学得模型适用于新样本的能力。 机器学习本质上是一种归纳算法，其在学习过程中对某种类型假设的偏好，称为“归纳偏好”，即“偏好”。打个比方，在对训练集进行训练后，得到几...
2021-07-12 11:34:14
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人