耶hu-CSDN博客

原创高性能计算：在Ubuntu22.04上编译HPL、HPCG

注意：在（一）中搭建好OpenMPI的环境后，在（二）/（三）中的Make.linux/Make_MPI.linux文件中应当更改对应的MPI的编译器的位置。

2024-02-26 19:29:38 333 1

原创【论文学习】Dilip Krishnan...Contrastive Representation Distillation.

Abstract我们通常希望将表征知识从一个神经网络转移到另一个神经网络。例如，将一个大的网络提炼成一个更小的网络，将知识从一种模态转移到另一种，或者将一组模型集合集成成一个单一的估计器。知识蒸馏是解决这些问题的标准方法，它使教师和学生网络的概率输出的KL之间的差异最小化。我们证明，这一目标（KL散度）忽略了教师网络的重要结构知识。这启发了另一个目标，通过这个目标，我们训练学生在教师的数据表示中获取更多的信息。我们把这个目标表述为对比学习（contrastive learning）。

2024-02-21 20:21:55 1087

转载补充学习：KL散度

下面的视频展示了KL散度随着分布变化而带来的差异，具体地，固定分布1（红色曲线），改变分布2（蓝色曲线），可以直观地看到，两个分布差异越小，其KL散度（阴影区域面积）越小。上述例子中，我们判断序列1更接近序列0的依据是这两个序列更容易混淆，这也是建模两个分布距离的依据，即区分这两个分布的难易程度，KL散度便是一种经典的建模方式。“很简单，我把左手的硬币抛一万次，记录正反两面出现的次数，然后右手中的每个硬币都抛一万次，看哪个结果和左手的结果类似，它就最相近，这其实就是数学中的KL……包括离散和连续两种形式。

2024-02-19 18:46:09 21 1

原创补充学习：Logistic回归和Softmax回归

学习笔记自用，补充上篇【】的数学内容。

2024-02-07 13:21:34 334 1

原创【论文学习】Geoffrey Hinton... Distilling the knowledge in a neural network.

Geoffrey Hinton的这篇论文是知识蒸馏的开山之作，具有重要的学习和借鉴意义。类似于我们高中所学的蒸馏，通过沸点不同将不同的物质分离提取。传统的知识蒸馏就是把一个大的训练好的教师模型的知识萃取出来，“教授”给轻量级的学生模型，完成知识的“迁移”。教师模型通常更加复杂，可能有着更高数量级的超参数，更复杂或更多的处理模型。学生模型可以被认作是教师模型压缩后得到的模型，使之能够适应算力更小的系统。在机器学习领域中，训练的目标和部署的目标是不同的。

2024-02-01 12:33:57 1304 2

原创对比学习（Constrastive Learning）论文概述

对比学习是无监督学习的一种形式，旨在通过最大化样本之间的相似性并最小化不相关样本之间的相似性来学习数据表示。

2024-01-27 13:03:53 1596

原创 CV入门学习：概念与应用场景

人类视觉原理：原始信号摄入（瞳孔摄入像素Pixels）-> 初步处理（大脑皮层某些细胞发现边缘和方向） -> 抽象（大脑判定形状）-> 进一步抽象（判断物体）机器学习：构造多层的神经网络 -> 较低层的识别初级的图像特征 -> 若干底层特征组成更上一级特征 -> 最终通过多个层级的组合，在顶层做出分类。目前主流的基于深度学习的机器视觉方法，原理跟人类大脑工作原理相似。2.需要计算的数据量巨大。6. 人体关键点检测。

2024-01-24 22:27:32 387 1

原创第三天打卡|203.移除链表元素、707.设计链表、206.反转链表

刚开始写的时候看到代码中给定了节点的多种定义方式，陷入了误区，实际上不需要重新构造节点，复制节点所带的元素，只用改变指针的指向就好了。注意三个点：1. 当头节点带元素时，考虑头节点的元素是否和val相同，若相同则头节点改变；2. 删除某个节点时，先链接下一个节点再删除；我习惯用指针先指向当前节点下一节点，但是当前节点为NULL时，将指针指向该节点的next会报错。指向删除节点的指针一定要使之指向nullptr，否则会成为野指针（delete后的指针是随意指向的），一不小心就被用到，造成内存泄漏。

2024-01-12 23:59:31 374

原创第二天打卡|977.有序数组的平方、209.长度最小的数组、59.螺旋矩阵Ⅱ

暴力算法，双层for循环，外层遍历定起点i，内层遍历从i开始，定第一个符合要求的子串的终点j，与当前最短的比较，由于j不断要返回i的位置，时间复杂度为O(n²)。可以采用双指针法，指针j正向扫描定结尾（以上一次i作开头，满足sum >= target），向后移动指针i寻找最短子串，一旦i不符合条件就break，让j继续前移。要实现O(n)的时间复杂度，可以使用双指针的方法。希望平方后的数组非递减，可以利用双指针，从外侧向内遍历，比较两侧平方中比较大的数，把它填到新的数组中。

2024-01-11 17:14:27 334 1

原创第一天打卡|704.二分查找、27.移除元素

打卡第一天，学习了二分查找，第一次知道“左闭右闭”，“左闭右开”的概念，原来我之前一直写的都是左闭右闭。2. 双指针移动法：可以看作是两个指针，指针1指向原数组，指针2指向新数组（虚拟），想象成每一次把指针1指向的不同于val的数放进新数组中。但实际上新数组是从覆盖原数组得到的，从0开始，当不等于val时，指针1和指针2同时移动并且将指针1指向的数字赋值给指针2指向的位置；两种做法：1. 暴力移动，嵌套循环，外层循环找val相同的数，内层循环负责把原位置后面的数前移并覆盖原来的数。

2024-01-10 20:30:01 360 1

weixin_62653714的博客