SinsNeverDie-CSDN博客

07 自动求导【动手学深度学习v2】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1KA411N7Px/?spm_id_from=trigger_reload对于计算复杂度来说，正向传播和反向传播都是O(n)。但是内存复杂度来说，反向传播因为需要保留正向传播时所有的中间结果，所以需要O(n) ,这也是神经网络特别耗GPU资源（爆显存）的祸源。正向传播内存复杂度为O(1),但每计算一个变量的梯度都要扫一遍。反向传...

2022-05-22 13:47:55 1353

原创 Python中关于axis轴的问题

最近在学沐神的动手学深度学习，在学线性代数篇时遇到了这个小问题。总的来说，axis是轴的意思，1表示横轴，方向从左到右；0表示纵轴，方向从上到下。接下来下看一下代码先看二维数组A = torch.arange(12).reshape(3,4)print(A)A_sum_axis0 = A.sum(axis=0)A_sum_axis0, A_sum_axis0.shapeaxis=0的情况下，sum函数就将第一个行维度3进行压缩。对3个行向量中的每个相对应的标量...

2022-05-21 17:41:27 793 1

原创【读书笔记】量子力学——上帝会掷骰子吗

量子力学哥本哈根派波恩-概率解释说薛定谔波函数ψ的平方，代表了电子在某个地点出现的概率电子本身不会像波那样扩展开去，但它出现的概率则像一个波，严格按照ψ的分布展开在双缝干涉实验中，出现干涉条纹是因为电子随机分布总的模式是确定的，虽然每个电子行为随机海森堡-不确定性原理 Uncertainty Principle 也叫测不准原理共轭量：动量p和位置q；能量E和时间t。同时准确观测p和q是不可能的，亲近一个就会疏远另一个观测电子时，不

2022-05-20 16:27:55 339

原创【读书笔记】数学之美

数学之美00 计算复杂度算法之父：高德纳算法好坏的的度量不再和问题大小有关算法复杂度多项式复杂度函数：P问题（Polynomial）非多项式函数：NP问题（Non-polynomial）（现实中的绝大多数问题，如围棋最佳走法） NPC问题(NP-Complete) NP-Hard问题 01 文字和语言vs数字和信息信息语言的产生随着要表达的信息越来越多，语言就此产生文字和数字文字文字的

2022-05-20 16:24:27 593

原创【读书笔记】浪潮之巅——方法论篇

浪潮之巅—方法论信息产业生态链摩尔定律 1965年，英特尔创始人摩尔提出“至多在10年内，集成电路的集成度会每两年翻一番” 除了芯片速度，存储容量增长更快，网络的传输速度也是摩尔速度 IT行业原材料成本不大，硬件成本主要是制造设备的成本和研发成本摩尔定律使得各个公司现在的研发必须针对多年后的市场 Google每一次基础架构（Infrastructure）的升级，都要按照目前计算和存储量的10倍来设计未来20年，工程师们考虑的将是在单位

2022-05-20 16:22:36 1178

原创【读书笔记】浪潮之巅——公司史篇

浪潮之巅—公司史AT&T百年帝国创立：1877贝尔电话公司 1984年反垄断被拆分 AT&T 8家小贝尔公司 1996年重组 AT&T 长途电话等电信服务业务朗讯专门做程控交换机等设备制造业务因借钱给各公司买朗讯设备，2000年泡沫破裂被阿尔卡特和诺基亚相继收购（2016） NC

2022-05-20 16:20:17 3992

原创 MIT缺失的一课——Lecture1:Shell

layout: lecturetitle: "Course overview + the shell"date: 2020-01-13ready: truevideo: aspect: 56.25 id: Z56Jmr9Z34QMotivationAs computer scientists, we know that computers are great at aiding in repetitive tasks. However, far too often, we for.

2022-05-20 16:07:05 479

原创深度学习入门——手写数字识别MINIST数据集

# 1 加载必要的库import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transforms# 2 定义超参数hyperparameterBATCH_SIZE = 64 # 每批处理的数据DEVICE = torch.device("cuda" if torch.cuda.is_availa.

2022-05-20 15:44:05 2292

weixin_44526168的博客

原创 Low-Level视觉任务的通用train训练代码

原创深度学习为什么用反向传播而不是正向传播？