深度学习Pytorch（删）

参考：BV1id4y1i7C7

讲得有点垃圾，不适合从头听，不更了

1/2/3. 简介（p1-4）

Torch - Lua语言
PyTorch - python

深度学习框架演变 

pyTorch和Tensorflow都很好用

动态图（边写代码，写一步就生成一步计算一步）like脚本语言
静态图（先创建图，再输入值）公式+输入 like编译语言

新手，研究人员--pytorch（简单易学+可以专注于算法）
工作人员--tensorFlow（工业界很多在用）

 

安装cuda和anaconda都记得配置环境变量

 

下载安装的坑！
1. pytorch和cuda的版本要对应的上！不然下载不了cuda
2. pytorch用conda安装的是cpu版，需要gpu版要pip下载
 

3/4. 简单回归问题实战（p4-6）

loss是选出来的，比如选(yi-y)^2，就是实际值和预测值的距离，那么求到最小值就是距离最小，此时当然是损失最小的。

学习率，要多尝试多调整，调到适合的

梯度下降求解器：Adam、SGD...

closed form solution：可以精确求解的w和b，实际上还是不可能，现实生活中是有噪声的！

这个噪声就是loss，eps是不确定的，是在高斯分布上的随机值
这是一种优化optimize：这里就是(y-yi)^2作为loss

关于凸函数：Convex optimization凸优化（用heuristic search）（这个可以在学计算优化的时候学，现在不涉及）

这条线慢慢逼近 （从w=0 b=0开始）

 （w写成m了）

linear regression（预测值是连续值，预测指数）
logistics regression（压缩到0-1）
classification
 

5. 分类问题MINIST手写字符（p7-p13）

MINIST数据集：7000张图片for each number，所以一共是7000*10张图片，60k用来train10k用来test

flat操作：首先把28*28的图片弄平，变成1*784变成[784]，但是前面还要加入一个1-> [1,784]

这里的[1,d1]表示的是维度，就是1*d1大小的一个矩阵 ，[d1]表示长度为d1的数组
这里的分类呢，用一条线性函数是分不出来的，所以这里用了三条线性函数嵌套

H3是最后的输出

one-hot编码方式