lyhxty的博客

为了减少代码冗余，可以使用代码块，如函数、类等等。

【代码】PyTorch深度学习实践（刘二大人）---第十讲 卷积神经网络（基础篇）

D:\Conda_data\envs\pytorch\python.exe D:/PycharmProject/Pytorch学习笔记-刘二大人/4.反向传播-作业.py。在Pytorch进行,tensor（标量、向量、矩阵、高维数据），保存data、grad。矩阵《The Matrix Cookbook》有很多公式，比如求导等，可以直接查找。Nonlinear function: （后面讲）

若有鞍点，则无法进行，但随机梯度每次只用一个样本，拥有随机噪声，则有可能跨越鞍点。会陷入到局部最优，但是在神经网络中，局部最优较少。（马鞍）：梯度为零。到达鞍点会没办法继续进行迭代。梯度下降算法（贪心），可以找到局部最优。

步骤：数据集-模型选择-训练-应用：过拟合、泛化能力（训练集=训练+验证）

AI>机器学习（如：逻辑回归）>表征学习（如：浅层自动编码器）>深度学习（如：神经网络）present 流形manifold(降维)：穷举法、贪心法、分治法、动态规划。: 分类、聚类、回归、降维。