![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
buchidanhuanger
Department of Computer Science,Central China Normal University,Wuhan,China.
展开
-
机器学习之数学系列(二)梯度下降法(参数更新公式的由来)
一、 引言下山问题 假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山。于是决定走一步算一步,也就是每次沿着当前位置最陡峭最易下山的方向前进一小步,然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去,一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。 什么是梯度?通俗来说,梯度就是表示某一函数在某点处函数值变化最快的方向,即:∇f(θ⃗)=(∂f∂θ1...原创 2019-11-20 19:29:27 · 5829 阅读 · 2 评论 -
机器学习之数学系列(四)推导线性支持向量机SVM
支持向量机(SVM)是一个二分类模型,它的学习思路是在特征空间中寻找几何间隔最大的分离超平面。对支持向量机的研究分成三类1.线性可分支持向量机 2.线性支持向量机 3.非线性支持向量机。本文主要推导线性支持向量机的相关公式,因为线性可分支持向量机是线性支持向量机的特殊情况,而线性支持向量机又可以推广到非线性支持向量机。这里默认大家对支持向量机中的术语有了解。(一)线性支持向量机的学习策略:最...原创 2019-07-26 17:20:18 · 470 阅读 · 0 评论 -
机器学习之数学系列(三)逻辑回归反向传播梯度计算公式推导
一、简介 在深度学习领域,我们往往采用梯度下降(或上升)法来优化训练函数模型,梯度下降法尤其是在优化凸函数上表现极佳。模型优化涉及到反向传播过程,反向传播过程需要先推导出梯度计算公式然后利用机器进行代数运算。这篇博文的工作是详细推导了逻辑回归反向传播梯度计算公式(什么是梯度?简单来讲就是成本函数对未知参数向量的导数,这个梯度方向是成本函数下降最快的方向),最后附上逻辑回归优化算法和逻辑回归实现...原创 2018-11-11 15:28:48 · 3382 阅读 · 0 评论 -
机器学习之数学系列(一)矩阵与矩阵乘法
1.对于矩阵的认识应当把它看成是多个向量的排列表或把矩阵看成行向量,该行向量中的每个元素都是一个列向量,即矩阵是复合行向量。如下图所示。2.对于下面这个矩阵的乘法有两种看法:(1)矩阵将向量[b1,b2,b3].T进行了运动变换,这种变换可以是同空间内变换,也可以是不同空间间的变换;所以矩阵是一种运动变换。如下(2)将矩阵A看成复合行向量,那么两个向量想乘就变成了行向量乘列向量,简单吧...原创 2018-10-24 13:41:02 · 1984 阅读 · 0 评论 -
机器学习实践(一):用KNN进行磁盘故障预测
问题:磁盘故障预测(Disk Failure Prediction)(一)背景和说明 在大规模IDCS和云计算环境中,各种磁盘故障并不少见。幸运的是,我们有S.M.A.R.T.(自监控、分析和报告技术;通常以智能方式编写),从计算机硬盘驱动器(HDDs)、固态驱动器(SSDs)和eMMC驱动器收集的日志,这些日志和检测报告各种驱动器可靠性指标,目的是预测硬件故障。自2013年以来,Backb...原创 2019-07-30 20:11:11 · 6174 阅读 · 1 评论 -
机器&深度学习中的模型评估:评估方法和评估指标
机器学习领域,无论是在工业界还是在学术界都存在着对模型的选择。如何选择一个好的模型,这需要一套标准来评估模型,从而让我们能选择。这里主要介绍模型的评估方法和评估指标,这将非常有用。(一)评估方法[1](1)留出法(hold-out) 将数据集分成3个互斥的集合:训练集、验证集、测试集。(2)交叉验证法(cross validation) 先将数据集划分成k个大小相似的互斥子集。然...原创 2019-05-13 18:05:44 · 3605 阅读 · 0 评论 -
机器&深度学习代码速查表
声明:转载自:知乎https://zhuanlan.zhihu.com/p/61013882,侵权立删神经网络:线性代数python基础sparknumpypandasbokehmatplotlibggplotsklearnkerastensorflow数据结构复杂度排序算法...转载 2019-05-12 14:40:17 · 318 阅读 · 0 评论 -
深度学习中的归一化方法总结(BN、LN、IN、GN)
一般在神经网络中会用到数据的归一化,比如在卷积层后进行归一化然后再下采样然后再激活等。目前比较受欢迎的数据归一化层有:BN(BatchNormalization),LN(LayerNormalization),IN(InstanceNormalization),GN(GroupNormalization)这4种。本篇文章主要是对比一下它们各自是怎么计算的。 先看对数据的归一化是这么操作的。...原创 2019-08-16 15:44:53 · 8785 阅读 · 0 评论 -
二分类中的precision,recall,F1值计算(举例)
二分类中的混淆矩阵中有以下4种标记:预测(列)/label(行)正样本负样本正样本TP(真正例)FN(假反例)负样本FP(假正例)TN(真反例) TP(真正例) :将正样本预测为正样本 FN(假反例):将正样本预测为负样本 FP(假正例):将负样本预测为正样本 TN(真反例):将负样本预测为负样本 说明:后面的字母表示预测结果,前一...原创 2019-09-14 19:13:56 · 32309 阅读 · 6 评论