【深度学习保姆级教学】学习笔记(一):机器学习与深度学习+神经网络基础


笔记基于以下视频P1-P9:

【深度学习保姆级教学】草履虫都能看懂!理论到实战、入门到起飞!

机器学习与深度学习:

机器学习流程:

  1. 数据获取
  2. 特征工程(关键)
  3. 建立模型
  4. 评估与应用

主要区别:

机器学习:传统的人工进行特征工程

深度学习:通过神经网络自动的进行特征提取

深度学习应用领域:

计算机视觉CV和自然语言处理NLP

机器学习常规套路:

  1. 收集数据并给定标签
  2. 训练一个分类器
  3. 测试,评估

KNN(最邻近结点算法)流程:

  1. 计算已知类别数据集中的点与当前点的距离
  2. 按照距离依次排序
  3. 选取与当前点距离最小的K个点
  4. 确定前K个点所在类别的出现概率
  5. 返回前K个点出现频率最高的类别作为当前点预测分类
    KNN不能用来图像分类:距离为像素点对应位置相减求和,导致背景成为主导,不能识别前景(主体)

神经网络基础:

前向传播(得出损失)请添加图片描述

线性函数:f(x,W)=Wx+b

W:权重参数(关键)

b:偏置项
请添加图片描述

损失函数:计算预测值和真实值的差距的一类型函数

请添加图片描述

正则化惩罚项:指由权重参数带来的损失,防止过拟合

请添加图片描述

Softmax归一化指数函数:

请添加图片描述

步骤:

  1. 指数处理:使得分区别更大,使分类效果更明显
  2. 归一化:将得分值映射到(0,1)之间得到概率
  3. 负对数函数:求损失,数值越小越好

sigmoid函数:将得分值映射到(0,1)之间
请添加图片描述

反向传播(降低损失)

反向传播计算:

过程:从后往前一步步按照链式法则求偏导。

目的:计算出W参数对于最终的损失值的重要程度。

梯度:梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值。

请添加图片描述

门单元:影响梯度分配

  1. 加法门单元:均匀分配,各个参数的反向传播梯度是一样的。
  2. Max门单元:前向传播中Max门单元将最大值传播了过去,那么反向传播,梯度只会分配给最大值
  3. 乘法门单元:反向传播的梯度分配是按照前向传播的参数互换后的比值来分配的
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值