RSociopath-CSDN博客

原创 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS（个人笔记）

As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes less feasible.” 随着我们预训练更大的模型，重新训练所有模型参数的完全微调变得不太可行。

2024-08-28 18:59:54 1062

原创 “Attention Is All You Need”(个人笔记)

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.” 我们提出了一种新的简单的网络架构Transformer，它完全基于注意力机制，完全不需要递归和卷积。

2024-08-14 15:48:08 590

原创 SimCSE: Simple Contrastive Learning of Sentence Embeddings（个人笔记）

We present SimCSE, a simple contrastive sentence embedding framework, which can produce superior sentence embeddings, from either unlabeled or labeled data” 我们提出了SimCSE，一个简单的对比句子嵌入框架，它可以从无标签或有标签的数据中产生更好的句子嵌入。

2024-07-31 19:53:18 384

原创 A Survey of Large Language Models（个人笔记）

After instruction tuning, LLMs can demonstrate superior abilities to generalize to unseen tasks [28, 62, 64], even in a multilingual setting” (Zhao 等, 2023, p. 19) 经过指令调整后，LLMs可以表现出优越的泛化能力，即使在多语言环境下，也可以泛化到未见过的任务[ 28、62、64 ]

2024-07-31 16:57:15 670

原创 Knowledge Tracing: A Survey（个人笔记）

Another potential application area is to provision a learning curriculum (e.g., an ordered list of topics to study) for a specific subject based on the knowledge state of a student.” 另一个潜在的应用领域是根据学生的知识状态为特定学科提供学习课程(例如,要研究的主题的有序列表)。

2024-07-17 19:12:24 783

原创 A Survey of Knowledge Tracing（个人笔记）

optimal and adaptive learning experience.” 最优的、适应性的学习经验“more effective than traditional learning styles” 比传统更有效“assess their knowledge levels and learning preferences” 评估知识水平和学习偏好。

2024-07-17 17:15:32 1214

原创 K均值聚类算法(K-Means)算法及其Python代码实现

聚类算法作为一种无监督学习方法其主要目的是将未标注的数据集中的样本划分为若干个不相干的子集，这些子集被称为簇(cluster)。聚类算法通过计算各个样本之间的相似性来将具有类似特征的的数据点划分到同一个簇中。其主要被应用于用户画像、广告推荐、图像分割以及降维等方向。（二）K-Means聚类算法K-means聚类算法是一种最简单的无监督学习算法，属于基于划分的聚类算法，是数据挖掘的十大经典算法之一。算法的主要思想是利用距离作为两个数据点相似性的评价指标，把得到紧凑且独立的簇作为最终目标。

2024-03-09 20:15:17 4181 3

原创 2022 华东师范大学数据学院复试机考（C++个人笔记）

题目描述：大致为，给定这样一个序列 1,2,3,4,...k,k-1,k-2....1然后给出一个x，若序列的和超过x，后面就会被忽略，输出被截断的位置的行数。举例：比如[2,1,3]可以交换（1,2）->(1,2,3)可以输出YES，不可以输出NO，如[3,1,2]就没法交换得到，因为必须一奇一偶。输入：,m*n 地图（地图中包含 ‘#’，‘.’,‘S’,‘E’）S为起点，E为终点，#表示障碍物，.表示随意同行。举例：k=3,x=4，[1,2,3,2,1],x=4 那么在第三行就会被截断。

2024-03-04 21:17:33 1750 5