研究生新生培训第一周：深度学习和pytorch基础

PART 1：视频学习

对于专知课程 01-绪论、02-深度学习概述中介绍的相关理论问题整合，用树状图将相关概念进行罗列整理，并具体阐述深度学习重要理论概念。

学习内容：

 一、人工智能和机器学习

        1.人工智能概述

      

人工智能(Artificial Intelligence，AI)是使一部机器像人一样进行感知、认知、决策、执行的人工程序和系统。人工智能在金融、内容创作、机器人等领域有十分不俗的表现。人工智能的三个层面：

        （1）计算智能：计算机具有快速计算和记忆储存的能力

        （2）感知智能：类似于人的视觉、听觉的、触觉等感知能力

        （3）认知智能：概念、意识、观念都是认知智能的表现

        2.机器学习的训练过程

        3.机器学习模型分类

           

 二、深度学习

        1.深度学习、机器学习和人工智能三者之间的关系

        2.深度学习的不足之处

        (1).算法不够稳定，容易被“攻击”。例如，在图片中通过往图像中添加噪声干扰，将原来的大象识别为考拉。

         (2).模型的复杂程度高，难以纠错和调节。

         (3).模型层级符合程度高，参数不透明。在深度学习模型中，第一层的卷积核可以进行可视化操作，而第二层及后面的层没办法通过写出卷积核或者全连接矩阵来理解该层在捕捉什么模式。

         (4).端到端训练方式对数据依赖性强，模型增量型差，模型不够灵活。当样本的数据量较小时，无法展现出深度学习强大的拟合能力。

         (5).只能专注只管感知类问题，不能解决开放推理性问题。

         (6).人类知识无法有效引入进行监督，机器偏见难以避免。例如，美国法院使用COMPAS算法来评估犯罪风险时，对于黑人的危险性评估普遍较高，带有明显的种族歧视色彩。

        3.主流机器学习模型的演变--深度学习模型的使用率得到极大的提升

         4.传统机器学习 vs 深度学习

三、神经网络

        1.神经网络发展历程

         2.M-P神经元

        

即：

                         

f被称为称为激活函数(Activation Function)或转移函数(Transfer Function)，用以提供非线性表达能力。

        3.激活函数

        4.BP算法

 

BP算法的核心思路：

1.利用前向传导公式，计算第n层输出值。

2.计算输出值和实际值的残差。

3.将残差梯度传递回第n − 1 , n − 2 , … , 2 n-1,n-2,\dots,2n−1,n−2,…,2层，并修正各层参数。（即所谓的误差逆传播）

PART 2：代码实验

        主要内容为实现pytorch中基本的定义、运算操作和实现螺旋数据分类

一、pytorch基础操作

 

二、螺旋数据分类

        1.环境准备

        2.构建螺旋数据

        3.螺旋数据可视化

 

        4.线性模型实现螺旋数据分类

 

        5.引入非线性激活函数RELU,并采用Adam优化

        6.进一步增加网络层数

三、实验问题总结

        在本次实验中主要遇到的问题是Jupyter内核终止并自动重启问题。

        每次调用matplotlib进行绘图时，总会导致内核终止。如图

     

         查找出问题在于系统资源的调配，总结出如下两种解决方案：

        方案一：

         方案二