![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础知识
夯实基础
山野村夫_pro
JUST DO IT.
展开
-
机器学习基础__06__BP误差反向传播
BP算法核心就两点1.误差反向传播2.链式求导法则参考:这个最全最细0.一步步教你理解反向传播方法这个简单易懂,一看就懂了1.20分钟搞懂神经网络BP算法这个例子不错2.一文搞懂反向传播算法...原创 2020-01-01 15:44:30 · 243 阅读 · 0 评论 -
机器学习基础__05__常见的代价函数和激活函数
目录1. 常见的代价函数1.1 回归问题的代价函数1.2 分类问题的代价函数2. 常见的激活函数2.1 为什么需要激活函数?2.2 sigmoid函数2.3 tanh函数2.4 ReLU函数2.5 LeakyReLU1. 常见的代价函数一句话总结:关于代价函数,回归问题用均方误差,分类问题用交叉熵。损失函数(Loss Function):是定义...原创 2019-12-25 19:58:42 · 527 阅读 · 0 评论 -
机器学习基础__04__常见的机器学习优化算法
目录1. SGD2.Momentum 动量法3.Nesterov Momentum 牛顿动量法4. Adagrad5. RMSprop6. Adam1. SGD我们通常所说的SGD,指的是小批量随机梯度下降算法。每次迭代中计算batch_size个样本的梯度,不仅计算效率高,而且收敛稳定。它是目前深度学习训练优化的主流方法。注意:系数一般取0.001,...原创 2019-12-24 14:37:21 · 305 阅读 · 0 评论 -
机器学习基础__03__梯度下降法
目录1. 什么是梯度1.1 方向导数1.2梯度1.3 为什么沿着梯度方向函数增长最快2. 梯度下降法3. 梯度下降法的三种形式3.1 批量梯度下降3.2 随机梯度下降3.3 小批量梯度下降1. 什么是梯度梯度是一个向量。(有大小有方向)1.1 方向导数导数导数表示切线的斜率,公式如下: ...原创 2019-12-23 20:34:47 · 497 阅读 · 0 评论 -
机器学习基础__02__L1L2范数在机器学习中应用
目录1. 范数概念2. 为什么L1有稀疏性?L2则没有3. 应用1. 范数概念范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义:对实数p>=1, 范数定义如下 L1范数当p=1时,是L1范数,其表示某个向量中所有元素绝对值的和,也叫“稀疏规则算子”。 ...原创 2019-12-21 11:33:48 · 446 阅读 · 1 评论 -
机器学习基础__01__性能度量
目录一、性能度量二、回归问题的性能度量三、分类问题的性能度量3.1 混淆矩阵3.2 准确率、召回率与F13.3 ROC与AUC一、性能度量性能度量是衡量模型泛化能力的评价标准,反映了任务需求。通俗讲就是对于多个模型,哪个好呢?性能度量就是评判这个。什么样的模型是好的,不仅取决于算法和数据,还取决于任务需求。二、回归问题的性能度量回归问题常用的性能度...原创 2019-07-16 21:40:28 · 399 阅读 · 0 评论