- 博客(35)
- 收藏
- 关注
RSS订阅原创 李沐动手学深度学习-动量法
在执行随机梯度下降时，对于嘈杂的梯度，我们在选择学习率需要格外谨慎。如果衰减速度太快，收敛就会停滞。相反，如果太宽松，我们可能无法收敛到最优解。
2024-05-21 15:48:17
1126
原创 李沐动手学深度学习-小批量随机梯度下降
到目前为止，我们在基于梯度的学习方法中遇到了两个极端情况：**gd中使用完整数据集来计算梯度并更新参数，sgd中一次处理一个训练样本来取得进展。**二者各有利弊：每当数据非常相似时，梯度下降并不是非常“数据高效”。而由于CPU和GPU无法充分利用向量化，随机梯度下降并不特别“计算高效”。这暗示了两者之间可能有折中方案，这便涉及到小批量随机梯度下降。
2024-05-13 19:04:30
1009
原创 李沐动手学深度学习-随机梯度下降
*在深度学习中，目标函数通常是训练数据集中每个样本的损失函数的平均值。**给定n个样本的训练数据集，我们假设fix是关于索引i的训练样本的损失函数，其中x是参数向量。然后我们得到目标函数fxn1i1∑nfixx的目标函数的梯度计算为∇fxn1i1∑n∇fix如果使用梯度下降法，则每个自变量迭代的计算代价为On，它随n线性增长。因此，当训练数据集较大时，每次迭代的梯度下降计算代价将较高。
2024-05-06 09:35:17
2398
原创 李沐动手学深度学习-梯度下降
梯度下降（gradient descent）很少直接用于深度学习。例如，由于学习率过大，优化问题可能会发散，这种现象早已在梯度下降中出现。同样地，预处理（preconditioning）是梯度下降中的一种常用技术，还被沿用到更高级的算法中。让我们从简单的一维梯度下降开始。
2024-05-01 13:24:16
2885
原创 李沐动手学深度学习-优化和深度学习
对于深度学习问题，我们通常会先定义损失函数。一旦有了损失函数，就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数。按照传统惯例，大多数优化算法都关注的是最小化。
2024-04-22 14:48:43
3538
1
原创 LaTex使用教程（持续更新中~）
: 这里指定文档类型 ，可用的类型包括：文档类型的属性选项，需要写在里面：纸张：3种标准字体高度：：使用包是文章写作日期，这里使用来自动生成编译时的日期，也可以用其他固定的日期来填充，如：指令生成标题，对于，标题和正文都在一页，和则会生成标题页，正文在下一页。单列还是多列显示，可选项包括：：缺省，单列显示；：双列显示可以用包来创建更复杂的多列显示文公式显示选项，缺省是右对齐，公式编号在右边，可以设置下面的选项：：公式左对齐，：公式编号在公式左边使用 来设置横向，但是有点问题，显示时边距会过大，可以使用包来更
2024-04-18 10:54:43
2306
1
原创 Linux基础命令
c：command后面跟一个字符串，这个字符串可以是我们平常执行的任何命令，有参数选项时一定要用引号括起来。wget 用于从网络上下载文件。sh是shell命令解释器，执行脚本。-n：对shell脚本进行语法检查。-x：对shell脚本逐条进行跟踪。
2024-03-25 16:25:23
298
原创 Linux创建文件夹/文件桌面快捷方式
例如，我们需要将ff文件创建一个快捷方式到桌面上。只需先打开桌面目录文件和目标文件所在文件夹，按住ctrl+shift 然后用鼠标左键拖动目标文件到桌面目录文件即可。
2024-03-24 22:35:54
1206
原创 Ubuntu虚拟机没有网络解决办法，亲测有效！！！
将第五行 managed=False 改为 managed=True ，然后 ctrl+s 保存后退出，如果本身就是True就不用改了。可能是Ubuntu的NetworkManager有问题（80%的问题都是它！
2024-03-13 21:50:17
1005
1
原创 编写Makefile文件语法，持续更新中~
我们写大型项目时，会用到很多源文件，源文件在不同目录中的文件夹里包含着，一个一个编译起来很麻烦，makefile就能够方便我们编译链接。使用makefile进行编译连接时会用到make命令，Makefile的会在执行make命令时指定编译和链接的规则，包括源代码文件之间的链接关系、依赖关系等。它关系到整个项目工程的编译规则：哪些文件需要先编译，哪些要后编译，哪些需要重新编译等复杂的操作。另外，Makefile每次只会编译修改的和依赖于修改的那些文件，提高了编译效率。
2024-03-13 16:39:57
759
原创 后端运行报错：Web server failed to start. Port xxxx was already in use.解决方案
后端运行报错：Web server failed to start. Port xxxx was already in use.解决方案
2024-03-05 21:44:20
157
原创 VC++6.0调试Debug报错“Administrator privileges required for OLE Remote Procedure calldebugging“解决方法
正常设置断点开始调试点击F11或F10进行下一步调试，就会报错，内容如下Administrator privileges required for OLE Remote Procedure calldebugging: this feature will not work.3.解决方案找到文件夹（路径根据个人下载VC位置而定，这里以我电脑上的路径为例）D:\vc++6.0\Microsoft Visual Studio\Common\MSDev98\Bin找到“MSDEV.EXE”，右键—
2023-12-07 10:58:05
573
原创 李沐动手学Al笔记--06 矩阵计算
在深度学习中，我们“训练”模型，不断更新它们，使它们在看到越来越多的数据时变得越来越好。通常情况下，变得更好意味着最小化一个损失函数（loss function），即一个衡量“模型有多糟糕”这个问题的分数。因此，我们可以将拟合模型的任务分解为两个关键问题：优化（optimization）：用模型拟合观测数据的过程；泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。在深度学习中，我们通常选择对于模型参数可微的损失函数。对于每个参数，如果我们把
2023-11-29 20:59:47
81
1
原创 李沐动手学Al笔记--04 数据操作 + 数据预处理
n维数组，也称为张量（tensor）。无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和TensorFlow中为Tensor）都与Numpy的ndarray类似。但深度学习框架又比Numpy的ndarray多一些重要功能：首先，GPU很好地支持加速计算，而NumPy仅支持CPU计算；其次，张量类支持自动微分。这些功能使得张量类更适合深度学习。如果没有特殊说明，本书中所说的张量均指的是张量类的实例。具有一个轴的张量对应数学上的向量（vector）；
2023-11-29 12:26:46
87
1
原创 李沐动手学AI笔记--线性回归
尽管神经网络涵盖了更多更为丰富的模型，我们依然可以用描述神经网络的方式来描述线性模型， 从而把线性模型看作一个神经网络。很难做到的是找到一组参数，能够在我们从未见过的数据上实现较低的损失，这一挑战被称为。但是，即使我们的函数确实是线性的且无噪声，这些估计值也不会使损失函数真正地达到最小值。）关于模型参数的导数（或梯度）。需要注意的是，该图只显示连接模式，即只显示每个输入如何连接到输出，隐去了权重和偏置的值。因此，即使确信特征与标签的潜在关系是线性的，我们也会加入一个噪声项来考虑观测误差带来的影响。
2023-03-25 21:21:28
576
原创 李沐动手学AI笔记--线性回归的简洁实现
对于标准深度学习模型，我们可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。我们首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起。当给定输入数据时，Sequential实例将数据传入到第一层，然后将第一层的输出作为第二层的输入，以此类推。我们的模型只包含一个层，实际上不需要Sequential。但是由于以后几乎所有的模型都是多层的，在这里使用Sequential会让你熟悉“标准的流水线”。
2023-03-25 20:59:53
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人