Tensor初始化占用内存,但是需要赋值以后放到模型中,因为这样初始化的Tensor可能会无穷大或者无穷小,
三个冒号在一个维度,第三个是步长,默认是【0:28:1】
View reshape 在维度变换方面功能是一样的,但是要记住变换后的维度在不知道原先的维度的情况下没有办法还原。
维度折叠与扩展
维度变换要注意是否造成数据污染,同样的维度不同的位置,也会有问题
loss的梯度
Tensor初始化占用内存,但是需要赋值以后放到模型中,因为这样初始化的Tensor可能会无穷大或者无穷小,
三个冒号在一个维度,第三个是步长,默认是【0:28:1】