- 博客(38)
- 收藏
- 关注
RSS订阅原创 SimCLR的nolinear 的MLP projection head 的 pytorch实现
SimCLR（Simultaneous Contrastive Learning of Representations）是一种无监督学习方法，用于学习图像表示。在SimCLR中，非线性MLP投影头(projection head)是一个重要组成部分，它将图像的隐藏表示转换为在对比学习任务中使用的形式。这是通过一个多层感知器（MLP）实现的，通常包含两个全连接层和一个ReLU激活函数。请注意，这个实现是一个简化的版本，仅用于演示。在SimCLR的情况下，输出维度通常与输入维度相同。实例，然后将数据传递给它。
2023-07-12 10:51:55
1044
原创 Linux与Windows调整进程优先级，调整某一用户所有进程优先级
需要注意的是，提高进程的优先级可能会导致其他进程的运行受到影响，因此需要谨慎使用。打开任务管理器后，选择要设置优先级的进程，右键单击进程并选择“设置优先级”，然后选择所需的优先级。在操作系统中，进程的调度和优先级是由操作系统内核进行管理的。命令可以将进程的优先级调整为更高或更低的值，其中负值表示更高的优先级，正值表示更低的优先级。此外，提高进程的优先级可能会影响系统的稳定性和其他进程的运行，因此需要谨慎使用。命令时，您需要指定要修改优先级的进程的进程ID（PID）或进程名，并指定要设置的新优先级。
2023-07-07 09:20:46
599
原创 TripletMarginMiner和TripletMarginLoss
"easy"表示选择那些满足三元组约束的样本，即正样本距离锚点更近，负样本距离锚点更远。可选的值有"mean", “sum"和"none”. "mean"表示计算所有样本损失的平均值，"sum"表示计算所有样本损失的总和，"none"表示不进行合并，返回每个样本的损失。margin：这是一个阈值，用于确定哪些三元组被认为是"hard"或"semihard". 如果一个三元组的距离差（负样本与锚点的距离减去正样本与锚点的距离）小于这个阈值，那么这个三元组就被认为是"hard"或"semihard".
2023-06-25 10:11:59
359
原创 如何将对比学习的思想应用于有标签的二分类任务中
在对比学习中，我们使用的是对比损失函数，它通过比较同一类别内的样本和不同类别之间的样本之间的距离来学习到更具有区分度的特征。总结一下，要在有标签的二分类任务中应用对比学习的思想，我们可以使用对比损失函数来替代交叉熵损失函数，并使用三元组损失函数或其他的对比损失函数来度量同类别内的样本和不同类别之间的距离。我们的目标是要使得同类别内的样本之间的距离尽可能小，而不同类别之间的样本之间的距离尽可能大。是一个超参数，用于控制同类别内的样本之间的距离和不同类别之间的样本之间的距离之间的差距。表示训练集中的样本数量。
2023-06-19 14:36:21
690
原创 有标签的二分类任务，对比学习的思想来优化模型
这些网络可以将同一类别的样本映射到相同的特征向量空间中，而将不同类别的样本映射到不同的特征向量空间中。我们可以通过最小化同一类别样本的距离和最大化不同类别样本的距离来优化网络。对比学习通过学习将同一类别的样本映射到紧密的空间区域中，并将不同类别的样本映射到相互分离的空间区域中，从而增加分类器的泛化能力。因此，我们可以将对比学习的思想应用于有标签的二分类任务中，以使不同类别之间的特征分布更加分离。然而，仅仅使用交叉熵损失函数可能无法满足我们的需求，因为它只关注了模型的预测准确率，而没有考虑特征分布的距离。
2023-06-19 14:31:05
528
原创 对比学习损失 InfoNCE
它侧重于学习一个特征空间，其中相似的样本被拉近，而不相似的样本被推远。对比学习损失：对于每个样本，计算其与正样本和负样本之间的距离。对比学习损失的目标是最小化正样本之间的距离，同时最大化负样本之间的距离。然后在有标签的数据上训练分类层，这可以是一个单独的训练阶段，也可以与对比学习损失的训练同时进行。数据准备：首先，为每个样本生成一个对应的正样本（相似的样本）和负样本（不相似的样本）。例如，如果你的数据集是图像分类任务，那么正样本可以是相同类别的不同图像，负样本可以是不同类别的图像。
2023-06-19 12:54:34
2985
3
原创 使用模型的named_modules()方法或named_children()方法来查看模型中每个层的名称和对应的模块对象
方法会返回模型中包含的所有模块对象及其子模块对象，并且会为每个模块对象分配一个唯一的名称。在这个示例中，我们获取了模型的参数字典，然后将第一层卷积核的值修改为全1的张量，并使用。另外，如果您想要设置模型中某一层的参数，您可以使用。方法或直接修改字典中的值来设置对应层的参数。方法来查看模型中每个层的名称和对应的模块对象。输出结果如下所示，其中模块名称以。方法获取模型的参数字典，然后使用。方法将修改后的参数更新到模型中。
2023-06-16 10:43:27
807
原创 softmax
的值是由网络学习得到的，用于调整相似度的度量。理解为图像和文本之间的相似度，分别表示图像和文本的嵌入向量，在CLIP中，我们可以将。是模型预测的概率分布向量。是负样本的文本向量，
2023-06-13 10:59:09
132
原创 Linux增加 swapfile 交换空间
需要注意的是，使用交换空间会影响系统的性能，因为它比物理内存慢得多，因此建议仅在必要时使用交换空间。最好的解决方案是增加物理内存来解决内存不足的问题。您可以根据需要调整这些参数。权限表示交换文件只能被所有者读写。这将使系统在启动时自动挂载交换文件。
2023-06-06 09:06:20
370
原创 Linux增大swapfile 文件大小
如果您已经创建了一个swapfileswapoffswapfileddswapfileswapfile在上述命令中，if参数指定输入文件，of参数指定输出文件，bs参数指定块大小，count参数指定块数。您可以根据需要调整这些参数。swapfilemkswapswapfileswaponswapfilefreefree -h在上述命令输出中，Swap行将显示swapfile文件的大小和使用情况。需要注意的是，在调整swapfile文件大小之前，确保您的文件系统上有足够的可用空间，以容纳新的。
2023-06-06 09:05:00
868
原创 加权损失函数
在实际应用中，加权损失函数通常用于解决类别不平衡的问题，即某些类别的样本数量很少，导致模型在训练和测试时对这些类别的分类准确率较低。通过设置合适的权重，可以提高模型对这些类别的分类准确率。加权损失函数是在标准损失函数的基础上引入了权重，用于在训练模型时对不同的样本或不同的类别赋予不同的重要性。越大，表示该类别的重要性越高，在训练模型时应该更加关注该类别的分类准确率。越小，表示该类别的重要性越低，在训练模型时可以更加宽松地处理该类别的分类准确率。，用于赋予不同样本或不同类别不同的重要性。
2023-05-23 19:03:55
1676
原创 Linux系统中使用多种命令来查看硬盘的读写情况
需要注意的是，以上命令中，每个命令的输出格式和内容有所不同，可以根据需要选择合适的命令进行查看。同时，这些命令需要root权限才能运行，如果没有权限，可以使用。表示仅显示硬盘相关的信息，表示以扩展的格式显示信息，需要root权限才能运行。表示仅显示磁盘相关的信息，表示仅显示磁盘相关的信息，表示每秒钟更新一次信息。表示每秒钟更新一次信息。表示每秒钟更新一次信息。
2023-05-23 15:01:32
9152
原创 傅里叶级数、傅里叶变换、短时傅里叶变换 公式
这些正弦和余弦函数称为基本频率，它们具有不同的频率和振幅，可以描述信号的频谱结构和频率特征。总的来说，傅里叶级数和傅里叶变换是对周期和非周期信号进行频谱分析的方法，而短时傅里叶变换是对非平稳信号进行频谱分析的方法。傅里叶级数、傅里叶变换和短时傅里叶变换都是信号处理中常用的工具，它们可以帮助我们分析信号的频谱结构和周期性特征。短时傅里叶变换在信号的时间-频率分析中非常有用，可以帮助我们理解信号的时频特征和频谱结构。傅里叶变换在信号的频域分析中非常有用，可以帮助我们理解信号的频率成分和频谱结构。
2023-04-28 09:26:44
3455
原创 Unix或Linux系统，结束一个进程及其子进程树
该命令会向指定的进程发送一个KILL信号，强制结束进程及其所有子进程，但不会执行任何清理操作，因此可能会导致数据丢失或其他问题。建议在必要时使用该命令，并尽可能避免使用它来结束进程。是您要结束的进程的进程ID。该命令会向指定的进程发送一个TERM信号，通知它退出，并同时向其所有子进程发送相同的信号，递归结束整个进程树。请注意，结束进程树可能会对正在运行的应用程序和系统造成影响，因此请谨慎使用该命令，并确保您已经了解了它的作用和风险。
2023-04-28 09:26:10
810
1
原创 通俗易懂讲解傅里叶变换和短时傅里叶变换
傅里叶变换的基本思想是：任何复杂的信号都可以表示为一系列不同频率和振幅的正弦波的叠加。通过傅里叶变换，我们可以将一个信号从时域（时间轴上的变化）转换到频域（频率成分的分布），从而更容易地分析信号的频率特性。傅里叶变换（Fourier Transform）和短时傅里叶变换（Short-Time Fourier Transform，STFT）都是信号处理领域常用的工具。为了便于理解，我们先从傅里叶变换开始讲解。简单来说，傅里叶变换用于分析信号的频率成分，而短时傅里叶变换则用于分析随时间变化的频率成分。
2023-04-26 10:25:00
1257
原创 短时傅立叶变换
短时傅立叶变换（Short-Time Fourier Transform，简称STFT）是一种用于分析非平稳信号（即随时间变化的信号）的频谱特性的方法。STFT 通过将信号分成较短的时间段，并对这些时间段应用傅立叶变换（Fourier Transform，FT），以获得信号的时间-频率表示。换句话说，窗的长度越长，频率分辨率越高，但时间分辨率降低；是窗函数，用于将信号切分成较短的时间段，常用的窗函数有矩形窗、汉宁窗（Hanning window）和汉明窗（Hamming window）等；
2023-04-25 17:09:50
1195
原创 MLP 双层 梯度计算
现在我们已经得到了损失函数关于各个权重参数的梯度。在二元分类问题中，二元交叉熵损失函数和Sigmoid激活函数常常一起使用，因为它们可以很好地衡量模型预测概率和真实概率之间的差距。计算出梯度之后，可以使用梯度下降或其他优化算法来更新权重，从而最小化损失函数。首先明确问题，这里是一个两层的多层感知机（MLP）模型，输入层有d个单位（x1到xd），输出层有一个单元y。给出的forward公式表示二元交叉熵损失函数（binary cross entropy loss）以及Sigmoid激活函数。
2023-04-23 17:19:33
302
原创 使用random.shuffle() 之后如何 追踪原始索引 匹配打乱list与原始list索引关系
打乱列表后追踪原始索引，你可以在打乱列表之前创建一个索引列表，并一同打乱。这样，你可以追踪打乱后的列表与原始列表的索引关系。，你可以追踪与原始列表的索引关系。是与之对应的原始索引。
2023-04-21 09:58:45
257
原创 windows cmd 在当前目录下，如何保持所有目录结构删除所有文件。
这个命令将删除当前目录及其子目录中所有文件，不会提示确认删除。请注意，这个命令将删除目录中的所有文件，包括只读文件和系统文件。在执行这些命令之前，请确保你已经备份了重要的文件和数据，并且你已经确认了你要删除的文件。这个命令将删除当前目录及其子目录中的所有文件，但不会删除目录本身。这个命令将删除当前目录中的所有文件，但不会删除目录本身。这个命令将删除当前目录中的所有文件，不会提示确认删除。命令将当前目录更改为你想要删除文件的目录。参数指定强制删除只读文件和系统文件，参数指定只删除文件而不删除目录。
2023-04-17 10:29:46
3462
原创 torch.save torch.load 四种使用方式 如何加载模型 如何加载模型参数 如何保存模型 如何保存模型参数
在 PyTorch 中，我们可以使用torch.save函数将模型或张量保存到文件中，使用torch.load函数从文件中加载模型或张量。
2023-04-13 19:09:03
3020
原创 Linux rsync 如何进行多服务器同步 增量复制
如果您需要在多个远程服务器之间同步文件和目录，并且这些服务器之间可以直接通信，则可以将多个目标服务器的主机名或IP地址指定为目标地址。选项表示仅复制源目录或文件中比目标目录或文件更新的文件。此外，默认情况下，rsync将不会删除目标目录中不再存在于源目录中的文件。要进行增量复制，只复制产生修改的文件，可以使用rsync命令。rsync命令是一个强大的工具，可以在本地或远程系统之间同步文件和目录，并且可以仅复制修改的文件，从而实现增量复制。选项仅复制源目录或文件中比目标目录或文件更新的文件。
2023-04-11 19:41:07
1551
原创 Linux scp sync 服务器互传 复制以.开头的隐藏文件
开头的隐藏文件或文件夹可能会导致意外复制不需要的文件或文件夹。因此，在使用这些命令时，请小心谨慎。开头的隐藏文件或文件夹。如果您需要复制这些文件或文件夹，可以使用一些特殊的选项来实现。选项表示进行归档复制，包括递归复制、保留权限、时间戳等属性，开头的隐藏文件或文件夹。需要注意的是，复制以。选项表示保留文件的权限、时间戳等属性。选项表示保留硬链接。在源目录路径中的末尾加上。开头的隐藏文件或文件夹。选项结合使用来复制以。选项结合使用来复制以。
2023-04-11 12:22:43
982
原创 使用scp命令从当前服务器迁移数据到目标服务器
要使用scp从当前服务器迁移数据到目标服务器，需要在目标服务器上运行scp命令，并在命令中指定源文件和目标服务器的位置。请注意，在执行scp命令时，您需要提供目标服务器的用户名和密码或使用SSH密钥进行身份验证。是您希望将文件复制到的目标目录。如果您需要将目录复制到目标服务器，请使用。选项以递归方式复制整个目录。目录及其所有子目录和文件复制到目标服务器的。例如，如果要将位于当前服务器上的。是目标服务器的主机名或IP地址，是目标服务器上的用户名，文件复制到目标服务器的。
2023-04-07 15:40:55
2207
原创 trap命令来在bash执行完毕后自动执行一些操作 包括自动销毁
命令，将该脚本文件销毁。这样就可以在脚本执行完毕后自动销毁脚本文件，避免脚本文件被滥用或者泄露。命令进行自动销毁时需要小心，因为脚本执行中如果遇到错误可能会导致脚本文件未能正确销毁，需要谨慎使用。命令来在bash执行完毕后自动执行一些操作，包括自动销毁。这样，在bash执行完毕后，
2023-04-07 10:45:18
224
原创 pkill命令配合-u选项来杀死本用户的所有终端的shell进程
选项来杀死本用户的所有终端的shell进程。这将会杀死本用户的所有终端的shell进程。
2023-04-07 10:01:28
651
原创 让当前shell执行bash内操作 使用source或者点号“.“命令来执行bash内操作
可以使用source或者点号"."命令来执行bash内操作。这两个命令都可以让当前shell执行指定文件中的命令，而不会启动一个新的子shell。例如，如果有一个包含bash命令的脚本文件。这样，脚本中的所有命令都将在当前shell中执行，而不是在新的子shell中执行。这对于需要在当前shell中设置环境变量或修改当前shell状态的脚本非常有用。
2023-04-07 09:49:46
285
原创 LaTeX 控制表格的每行高度和单元格宽度
表示第二列和第三列的单元格宽度为1.5cm。如果要设置单元格宽度为自适应宽度，可以使用。参数可以控制单元格的宽度，其中每个字母代表一个单元格，字母后面的竖线。命令可以控制每行高度的倍数，其中。表示第一列的单元格宽度为2cm，为倍数值，通常情况下取值为。表示左对齐，宽度自适应。表示单元格之间的竖线。
2023-03-28 10:50:02
8356
1
原创 LaTeX如何控制表格整体高度和宽度
命令来缩放表格的大小。该命令将表格作为参数，并接受一个比例因子，可以缩放表格的大小。命令来控制表格的大小。该命令接受三个参数：宽度、高度和表格内容。将表格缩小到页面宽度的80％，高度自适应。表示表格宽度为当前文本宽度的一半。命令来控制表格的整体高度和宽度。将表格缩小到80％的大小。环境创建表格时，可以使用。等，也可以是相对长度，如。
2023-03-28 10:44:40
9868
原创 Python 判断字符串中是否包含字典的key并输出对应value
可以使用Python中的in运算符来判断字符串是否包含字典的key，然后输出对应的value。如果是，则打印相应的值（value）。在本例中，将打印“value2”中的所有键（key），并用if语句检查该键是否出现在。在这个示例中，我们先定义了一个字典。和一个包含某个key的字符串。然后使用for循环遍历。
2023-03-24 09:03:23
1961
原创 CP命令 复制目录结构和子目录文件 保持源目录的完整结构
注意：如果目标目录已经存在，则原来存在的文件将被覆盖。如果要避免这种情况，请使用。如果您想要在目标目录中创建新目录来保持源目录的完整结构，可以使用选项。选项，可以递归地复制目录及其子目录和文件。请注意，为了避免将源目录复制到目标目录中，请使用通配符。目录及其所有子目录和文件（但不包括源目录）到。目录及其所有子目录和文件（包括隐藏文件）到。目录下的所有文件和子目录，但不包括。这将在复制时创建所需的父目录。命令来进行复制，而不是。以下是一个例子，将复制。
2023-03-20 17:30:19
3813
原创 Matplotlib 图表重叠 绘图重叠 plt.subplot() plt.clf() plt.close() 使用例子
在使用Matplotlib的过程中，如果需要在同一张图中绘制多个图表，可能会出现图表重叠的情况。需要注意的是，如果同时打开了多个图形窗口，则需要使用不同的参数来指定关闭不同的窗口。例如，下面的代码创建了一个2行2列的子图，分别在第1个和第2个子图中绘制两幅图表，从而消除了图表重叠的问题。例如，下面的代码绘制了两幅图表，其中第一幅使用黄色的折线，第二幅使用绿色的直线。函数指定子图的行数、列数和当前子图的序号，进而在不同的子图中绘制不同的图表。函数可以将画布分割成多个子图，并在不同的子图中绘制不同的图表。
2023-03-20 14:18:55
2225
原创 Pytorch模型如何查看每层输入维度输出维度
表示模型的输入维度，即 C = 3，H = 32，W = 32。运行后可以看到所有层输入、输出的维度以及参数数量等信息。库来实现对 PyTorch 模型的结构及参数统计的输出，其可以方便我们查看每层输入、输出的维度以及参数数量等信息。在 PyTorch 中，可以使用。
2023-03-17 15:48:21
3620
原创 Windows 下可视化模型结构 PyTorch 中的模型结构可视化
以下是一个简单的例子，可以将 PyTorch 中的模型结构可视化，假设模型已经定义为。要解决这个问题，您可以使用 PyTorch Model Zoo 中提供的预训练模型权重，或者确保手动将您的模型的状态字典保存为 PyTorch 中通用的 dict-like 类型。错误信息指出，期望状态字典是类似字典的数据类型，但得到的类型是模型类。如果您正在尝试加载自己的 PyTorch 模型权重，则需要手动将模型的状态字典保存为 PyTorch 中通用的 dict-like 类型。函数来获取模型的状态字典，然后使用。
2023-03-17 14:11:47
270
原创 Linux du命令 查看目录下文件/文件夹占用大小
命令也可显示目标路径下的文件大小，但不能显示目录占用的大小，所以需要根据实际需求来选择使用哪个命令。这些选项可以根据需要组合，以查看目录下文件占用的空间大小。在Linux中可以使用。
2023-03-16 14:38:44
1658
原创 Linux cp 命令 自动重命名 不覆盖 不修改扩展名 不是备份 多目录下多文件到目标目录
需要注意的是，这个命令中的时间戳格式和之前给出的命令略有不同，这里使用的格式为年月日时分秒，无需添加可识别的后缀。如果希望对多个目录下的多个文件进行复制，并自动重命名不覆盖已有的文件，可以使用一个循环来实现。判断当前遍历到的文件是否为普通文件，如果是普通文件则执行复制操作，否则跳过当前文件。将当前遍历到的文件复制到目标目录中，并在文件名后面添加时间戳来确保文件名的唯一性。指定需要进行复制的目录和通配符，可以根据实际情况修改。扩展名，以确保新的文件名不覆盖原有的扩展名。循环会遍历所有满足通配符条件的文件。
2023-03-15 10:33:41
1483
原创 Linux命令 查看当前目录各个文件夹下文件数目 按文件夹名称排序或者按文件数量排序
表示按照输出结果的第二个字段进行排序（即按照文件数目进行排序），并指定排序方式为数字排序（一般情况下，这个参数可有可无，因为。这个命令会输出所有子目录的名称和文件数目，并按照名称从小到大进行排序。这个命令会输出所有子目录的文件数目，并按照文件数目从小到大进行排序。命令对输出的结果按照文件夹名称从小到大排序。统计子目录下面的文件数目并输出，在这之后将结果排序。循环遍历每一个子目录，输出它的名称和文件数目，其中。命令对输出的结果进行排序。会输出所有子目录的名称和文件数目，其中。会输出所有子目录的名称，其中。
2023-03-15 10:15:36
923
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人