深度学习1.0-BJTU-基础知识

目录

一.前言

二.授课内容

三.绪论1.1

       1.人工智能发展过程

       2.专家系统的发展

       3. 人工智能算法发展史

       4.特征的重要性

       5.BP

       6.DBN&RBM

       7.ImageNet

       8. RELU激活函数

       9.LSTM

       10. NN

       11.模型

---

一.前言

        记录一下最近学习深度学习的笔记，课程是BJTU暑期课程，在b站可以搜到，文中图片大多来源此视频，希望可以通过学习该课程学习到更多的深度学习知识，可能因为本人知识储备还是较少，看了一遍老师的课还有很多不懂得地方，因此本篇大多数为PPT得CV，在后续学习过程会对此章节深入理解

二.授课内容

三.绪论1.1

        1.人工智能发展过程

        2.专家系统的发展

         传统的专家系统是通过人工输入规则来进行决策，随着不断发展，使用机器自动训练更加智能灵活化实现专家系统，但与传统比较，机器训练更不容易进行解释说明

        3. 人工智能算法发展史

         4.特征的重要性

         5.BP

        6.DBN&RBM

        7.ImageNet

 

        2015年随着ResNet的横空出世，使计算机视觉方面的误差接近人类，ImageNet的初心已经达到，目前比赛已经结束

        8. RELU激活函数

        sigmoid已经被淘汰，值越小梯度越接近于0导致梯度消失不利于传播

        9.LSTM

        10. NN

        11.模型

 

 

         不同损失函数惩罚不同偏差，优化算法例如梯度下降一般构造凸函数，部分模型(神经网络)的优化目标是非凸函数。其中t为固定，学习率是调节的参数，如果参数设置不好，可能会越学越差。

 

 

 

 

        实际中得不到概率分布，所以往往优化经验风险

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

         数据特征决定了模型得上限，预处理和特征提取是最核心的，算法和参数选择绝了了如何逼近这个上限