- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 LLM in RS (Conversational Recommendation)
1：这篇文章的大创新点是去除原有数据中的重复项，这种方法不仅可以证明LLM的有效性，同样也可以在评估传统的CRS模型进行评估。2：分析的角度很多，①证明了LLMs 更依赖于content/context knowledge而非collaborative knowledge；②LLMs评测时出现的幻觉情况；③基于GPT的LLMs比现存在的CRS有更好的content/context knowledge；④：LLM推荐在CRS中存在流行偏差；⑤：LLMs的推荐行难呢过更地理位置有关。
2024-04-09 16:03:10
1567
原创 LLMs in RS
一：23-TALLRec: An Effective and Efficient Tuning Framework to Align Large Language二：[23-Arxiv] How to Index Item IDs for Recommendation Foundation Models。
2024-04-09 16:02:50
1936
原创 TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
TIME-LLM的模型框架。给定一个输入的时间序列，首先通过分块（patching）进行标记化，并使用自定义的嵌入层进行嵌入。为了增强LLM的推理能力，我们还在输入中添加了额外的提示前缀，以指导输入分块的转换。主要区别就是：Pre-trained LLM部分用了原本得input embedding加上instruction形成新的Frozen部分，然后Patch Reprogram作为prompt tuning部分。用于时间序列预测的模型通常是专业化的，需要为不同的任务和应用程序设计不同的模型。
2023-10-10 11:58:21
1501
1
原创 Graph Neural Prompting with Large Language Models (GNP)
通过很多数据集以及很多基线的对比，与input embedding Frozen的LLM 以及prompt tuning的LLM进行比较GNF的效果脱颖而出。大型语言模型（llm）在各种语言建模任务中都表现出了显著的泛化能力和卓越的性能，模型规模的显著增长进一步赋予了llm突出性能力。GNP方法具有在图中收集最关键信息以确定正确答案的能力，GNP能够捕获关键实体之间的结构接近性，并选择正确的答案。证明了GNF的几个关键组件都是有效的，其中domain projector对模型影响的效果最大。
2023-10-02 22:49:07
269
1
原创 Soft Prompt Tuning -- Dept
Prompt tuning (PT)在其他PEFT方法中脱颖而出，因为它以较少的可训练参数保持了具有竞争力的性能，并且不会随着模型规模的扩展而大幅扩大其参数；2：传统PT扩展了输入序列的总长度，由于Transformer的二次复杂性，这导致了计算需求的恶化（即训练/推理时间和内存成本）。传统的PT方法是用一个可训练的提示矩阵 (prompt matrix) P 和冻结词向量矩阵Wi进行拼接，再经过损失函数。1：主要思想就是把软提示分解成一个更短的软提示和一对用两个不同学习率优化的低秩矩阵。
2023-10-02 21:35:48
128
1
空空如也
如何把图一数据集的形式改成图二形式？
2021-05-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人