2024山东大学软件学院项目实训日志
文章平均质量分 56
m0_74064776
这个作者很懒,什么都没留下…
展开
-
2024山东大学软件学院项目实训开发日志-第三周(3)
微调的目的是使大模型适应特定任务和数据分布,以提高模型的表现。由于预训练的大模型已经经过大量的数据的训练,具备一定的通用性,因此通过微调,我们可以利用现有的模型能力来解决具体的任务。3.transfer learning:将在一个任务上训练好的模型作为起点,通过改变模型的结构或参数,再用另一个任务的数据进行微调。选择合适的预训练模型:不同的预训练模型具有不同的特点和适用范围,需根据任务选择合适的模型。选择合适的微调方法:不同的任务和数据集需要采用不同的微调方法,以达到最佳效果。原创 2024-04-26 12:13:06 · 599 阅读 · 0 评论 -
2024山东大学软件学院项目实训开发日志-第二周(2)
embedding模型研究嵌入(Embeddings)是机器学习领域中的一个概念,主要用于将高维的数据转化为低维空间,以便于算法更好地处理和理解数据。嵌入通常用于将离散的、高维的特征转换为连续的、低维的向量表示。本周学习item2vec。原创 2024-04-26 12:11:11 · 404 阅读 · 1 评论 -
2024山东大学软件学院项目实训开发日志-第一周(1)
对于一段文本,从第一个词开始以固定的窗口大小对文本进行切分,计算每个词出现的概率,每个词会拥有两个概率表示,一个为作为中心词出现的概率,另一个为作为上下文时出现的概率对应的,我们用两个词向量表示词表中的每个词,一个表示该词作为中心词时,另一个表示该词作为上下文时。以余弦相似度为例,假设我想要得到在向量数据库中与我的问题最接近的文本,首先我需要对我的问题做向量化,假设用word2vec向量化后的问题向量为β1 = [0.3, 0.7, 0.5],最接近的文本向量为β2 = [0.4, 0.6, 0.9]原创 2024-04-26 11:53:40 · 638 阅读 · 0 评论