整体内容
神经网络可以理解为是一种语言
数学和代码的结合,道术结合,关键在动手
是什么,怎么做,为什么这样
发展知识和应用
广告点击预测三个步骤
预测和训练
模型控制广告展现
数据格式
0维,1维,2维
图片,批量图片,视频多了时间维度
形状,类型,值
区域跳着访问
形状至少是一维的,x.numel是元素个数
创建全0或者全1
通过python本身的数据格式创建
加减乘除以及拼接
所有元素求和,是标量
两个不同维度的数据怎么相加,广播机制
批量数据赋值
频繁赋值,会导致占用过多内存,因为是可变对象,所以赋值会开辟心的内存空间
减少内存开销
张量和numpy以及python标量的转换
数值型,补充为缺失的
增加多个特征,有则补为1,没有则补为0
reshape后并没有改变原来的地址id
多维数组numpy是个计算机的概念,tensor张量是个数学上的概念
线性代数
标量
向量的元素由标量构成
向量的点乘
向量扩展,构成矩阵
矩阵乘以向量的原理
向量通过矩阵的运算,把向量在空间进行了扭曲
矩阵的乘法
矩阵的长度
对称矩阵和反对称矩阵,正定矩阵
特殊矩阵
不变矩阵改变方向的向量,叫做特征向量,大小可能改变,方向不变
标量是由只有一个元素的张量构成,也是个张量
标量组成了向量,向量组成了矩阵
标量》向量》矩阵
clone可以分配一个心的内存
所有元素都可以相乘或者相加,矩阵和标量
指定维度的求和运算,可以安装多个维度求和,按那个维度,那个维度就消除了
按某个维度求和,并且保留那个维度,方便做广播机制
点积运算
矩阵乘法
标量
矩阵拉成向量计算的范数
按特定维度得出的计算结果
pytorch也好其他语言也好,都是工具,重点是掌握一个思想
求导数
亚导数
求导
列向量的导数是一个行向量
分子是向量
向量关于向量是矩阵
扩展到矩阵
标量求导,拓展到向量求导
线性代数的求导
复合函数,向量求导函数
符号公式求导,定义即方法求导
计算图就是流程图
显示的构造
隐式的构造
求导法则,正向和逆向
正向和反向
复杂度计算
pytorch自动求导
梯度存储
谁关于谁的求导,定义和明确清楚
梯度清零,就是导数清零,因为进行存储了
大部分情况是堆标量求导,不是对向量求导
挪到,计算图外,把向量常数化,可以把网络的某部分参数固定
复杂的控制流的时候求导
学习建议论文代码地址,非常实用
直播设备
落地的最新课程
学习方法
看》书效果最后
看听》视频
看听动手》实战
嘴讲出来》最好
斯坦福最新课程:
https://space.bilibili.com/216720985
李沐课程学习系列:
https://space.bilibili.com/1567748478?spm_id_from=333.824.b_765f7570696e666f.1