第一章
深度学习和机器学习差异
机器学习
基本问题:分类,回归,聚类,降维
算法:KNN,贝叶斯,决策树,SVM,逻辑回归,随机森林,集成学习
改变结构,实现不同的玩法,适应不同场合
深度学习
主要是解决分类,回归,模拟
感知机,多层神经网络,卷积,递归,GAN
统一的计算单元,通过变换参数和连接实现不同应用场合
1.深度学习与机器学习的主要区别是在于性能。当数据量很少的时候,深度学习的性能并不好,因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。
2.深度学习算法严重依赖高端机,而传统的机器学习算法在低端机上就能运行。深度学习需要GPUs进行大量的矩阵乘法运算。
3.由于深度学习中含有非常多的参数,较机器学习而言会耗费更多的时间。机器学习在训练数据的时候费时较少,同时只需几秒到几小时。
第二章
- 画出三个输入特征的感知机模型,以及模型的数学表达式
- 感知机的训练流程(训练过程搞定二分类)
- 确定初始化参数w和b。
- 搭建感知器模型。
- 利用反向算法,完成权重系数的调整。
注:初始化参数可以任意设定,最终都会根据反向算法完成收敛。
第三章(多层神经网络)
- 梯度反向传播,推导过程
- 激活函数(sigmoid和Tahn和relu(输入层)和softmax(互斥多分类))和应用场景
- 损失函数,计算题神经网络真实标签算最小二乘损失,MAE损失,交叉损失。
- 神经网络的训练流程
- 定义一个包含多个可学习参数(权重)的神经网络;
2、对输入的数据集进行迭代计算;
3、通过多层网络结构来处理输入数据;
4、计算损失值(输出值与目标值的差值);
5、反向传播梯度到神经网络的参数中;
6、根据更新规则来更新网络中的权重值。
- pytorch深度学习框架
1.Numpy的CPU计算模型,和Cuda的CPU+GPU模型
CPU: 通用计算,串行计算,多核计算,多进程多线程模型。一个曹操刘备
GPU:专门做图像运算,简单运算单元,并行计算,Cuda计算。1万个小兵
2.给你PyTorch代码,你要能够解释它在干什么
给代码加注释