论文笔记：Large Language Models are Zero-Shot Next LocationPredictors

最新推荐文章于 2025-05-27 23:47:46 发布
最新推荐文章于 2025-05-27 23:47:46 发布
阅读量798 收藏 10
点赞数 5
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/141500087
版权

1 intro

  • 下一个地点预测（NL）包括基于个体历史访问位置来预测其未来的位置。
    • NL对于应对各种社会挑战至关重要，包括交通管理和优化、疾病传播控制以及灾害响应管理
  • NL 问题已经通过使用马尔可夫模型、基于模式的方法以及最近的深度学习（DL）技术（进行了处理。
    • 然而，这些方法并不具备地理转移能力
    • 因此，一旦这些模型在某个地理区域训练完毕，如果部署到不同的地理区域，它们将面临严重的性能下降
    • 尽管已经做出努力改善地理转移性，但主要的进展还是与集体移动模式相关，而零样本的地理独立性仍未得到解决
  • 此外，已经显示出大型语言模型（LLMs）嵌入了空间和地理知识，并且这些知识可以被有效提取
  • ——>探索将 LLMs 作为零样本下一个地点预测器的使用
    • 评估了四个 LLMs 的性能：Llama2、Llama2 Chat、GPT-3.5和 Mistral
    • 同时讨论了其他一些 LLMs、Phi-2、Phi-3、Gemma、GPT-J、Dolly的一些限制

2 preliminary

2.1 任务定义

  • 下一个地点预测通常定义为根据个体的历史移动轨迹预测其下一个将访问的地点的问题，这些轨迹通常表示为时空轨迹
    • （轨迹）时空点 p = (t, l) 是一个元组，其中 t 表示时间戳，l 表示地理位置。轨迹 P = p1, p2, ..., pn 是个体访问的 n 个时空点的时间有序序列
      • 根据 DeepMove的方法筛选轨迹
        • 筛选出记录少于 10 条
最低0.47元/天 解锁文章
论文分享 | 大语言模型的 few-shot 或许会改变机器翻译的范式
字节跳动技术团队官方博客
03-03 4899
动手点关注干货不迷路近期 NLP 界的大语言模型 (Large LM) 引领了一波研究热潮 。有关大语言模型介绍的博文众多、此处推荐一下 Stanford 为此专门设计的一门课程（仅开源了讲义）。Stanford CS324 - Large Language Modelsstanford-cs324.github.io/winter2022/大语言模型当然也影响到了机器翻译领域。近一个月里 arx...
论文辅助笔记：Large Language Models are Zero-Shot Next LocationPredictors
qq_40206371的博客
08-25 354
trajectory_split暂时略去。
2024年6月3日Arxiv大语言模型相关论文
数智笔记
06-03 891
原标题作者摘要: 视频是一种越来越突出且信息密集的媒介，但对于语言模型来说却带来了重大挑战。典型的视频由一系列较短的片段或镜头组成，共同构成一个连贯的叙事。每个镜头类似于句子中的一个单词，其中必须同时处理多个数据流的信息（如视觉和听觉数据）。理解整个视频不仅需要理解每个镜头的视听信息，还需要模型将每个镜头之间的思想联系起来，生成一个更大、全面的故事。尽管该领域取得了显著进展，但当前的研究往往忽视了视频更细粒度的逐镜头语义信息。
论文阅读：Large Language Models Are Zero-Shot Time Series Forecasters（2023NIPS）（LLMTime）
m0_51312071的博客
12-27 2013
对于预测任务：通过将时间序列编码为一系列数字，可以将时间序列预测任务转化为文本里面的next-token预测任务。在大规模预训练语言模型的基础上，文章提出了一些方法用于有效，并（分布转换部分涉及到诸多统计学知识）。在数值补全任务中，文章展示了语言模型（LLMs）如何通过非数值文本自然处理缺失数据，无需插补，如何适应文本侧面信息，并回答问题以帮助解释预测。
速通GPT-3：《Language Models are Few-Shot Learners》全文解读
逐梦苍穹的博客
09-07 1935
速通Language Models are Few-Shot Learners文章，带你快速了解GPT-3
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
论文&实验 Large Language Models AreZero-Shot Time Series Forecasters
Msc30839573的博客
01-31 1514
通过将每个数字视为一个具有 B 个可能类别的分类问题，可以将模型的输出概率分布视为一种层次 softmax 分布，其中每个数字的概率分布是由前面的数字决定的。为了将离散的概率分布转化为连续的概率密度分布，可以将输出的每个数字分配到一个离散的 bin 中，然后在每个 bin 上放置一个均匀分布，最终得到一个混合的、连续的概率密度分布。通过这种方式，即使使用离散的数字表示，也可以实现高效、精确和灵活的连续概率密度建模。将时间序列编码为一串数字，可以将时间序列预测转换为文本的下一个token预测。
【文献阅读二】Zero-Shot Next-Item Recommendation using Large Pretrained Language Models
qq_45284304的博客
10-26 405
摘要：本文对关于推荐系统领域的一篇文章Zero-Shot Next-Item Recommendation using Large Pretrained Language Models做了一个初步的阅读与理解。
Zero-Shot Next-Item Recommendation using Large Pretrained Language Models-问题咨询
hehehehejiejie的博客
11-20 364
Zero-Shot Next-Item Recommendation using Large Pretrained Language Models
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
qq_40206371的博客
03-27 2365
北大202402的RAG综述。
Zero-Shot Multi-Hop Question Answering via Monte-Carlo Tree Search with Large Language Models
weixin_43961909的博客
03-09 828
大型语言模型(LLM)的最新进展极大地影响了多跳问答(MHQA)领域，在该领域中，系统需要从不同的文本片段中聚集信息并推断答案。然而，LLM的自回归性质固有地提出了一个挑战，因为如果在中间推理步骤中出现错误，错误可能会累积。介绍了零炮多跳问题回答的蒙特卡罗树搜索(MZQA)，这是一个基于蒙特卡罗树搜索(MCTS)的框架，用于识别MHQA任务中的最优推理路径，减少顺序推理过程中的错误传播。
论文阅读：arxiv 2024 SmoothLLM: Defending LLMs Against Jailbreaking Attacks
CSPhD-winston的博客
05-25 791
大语言模型（如GPT、Llama）虽然经过训练以符合人类伦理，但黑客可以通过精心设计的。
论文阅读笔记——Emerging Properties in Unified Multimodal Pretraining
Multiple_x的博客
05-24 983
Emerging Properties in Unified Multimodal Pretraining 论文阅读笔记
论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing
最新发布
Multiple_x的博客
05-27 629
Step1X-Edit: A Practical Framework for General Image Editing 论文阅读笔记
[论文阅读]Pandora: Jailbreak GPTs by Retrieval Augmented Generation Poisoning
m0_52911108的博客
05-23 924
间接越狱攻击GPT的RAG增强过程分四个阶段：❶GPT首先组织不同的用户上传的文档类型（PDF、HTML、Word），主要按文件名排序以实现高效检索。❷ 对于用户提示，GPT 确定是否需要信息检索，根据文件名从上传中选择文档。GPT 一次处理一个文件以提高效率。❸ 所选文档被分段和向量化，以便与用户的查询向量进行相似度计算。提取相似度得分最高的前 K 个片段，增强响应上下文。❹ 最后，将这些片段的内容与用户的提示相结合。该复合输入由大语言模型处理，通过直接合并文本或将矢量化片段嵌入到原始内容中。
【论文阅读】——D^3-Human: Dynamic Disentangled Digital Human from Monocular Vi
河海大学研究生在读的学习笔记
05-24 1054
【论文阅读】——D^3-Human: Dynamic Disentangled Digital Human from Monocular Vi
论文阅读笔记——PixArt-α，PixArt-δ
Multiple_x的博客
05-22 992
PixArt-α，PixArt-δ 论文阅读笔记
论文阅读笔记——Janus，Janus Pro
Multiple_x的博客
05-25 1251
Janus、Janus Pro 论文阅读笔记
VideoMAE论文笔记
Zssss12的博客
05-22 868
文章提出了一种名为VideoMaskAutoEncoder（VideoMAE）的自监督视频预训练方法，旨在为视频人物提供更有效的视频表示。该方法受到ImageMAE的启发，采用了极高比例的视频管掩码策略，以解决视频数据中的时间冗余和时间相关性挑战。VideoMAE通过高比例掩码和下采样剪辑来应对时间冗余，通过管道掩码策略来打破帧间内容的直接对应关系，从而防止信息泄露。此外，VideoMAE采用了非对称编码器-解码器设计，以优化计算效率。实验结果表明，VideoMAE在多个视频数据集上取得了优异的性能，证明了
GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators
03-08
### 大型语言模型作为生成式多语言语音和机器翻译系统的概述 大型语言模型（LLMs）由于其强大的参数规模和预训练机制，能够处理多种自然语言任务。这些模型不仅限于单一语言环境，还展示了出色的跨语言迁移能力[^1]。 #### 跨语言表示学习中的挑战与解决方案 尽管ML LMs表现出显著的零样本跨语言迁移性能，但在实际应用中仍面临一些障碍。研究指出，在多语言嵌入空间里存在着强烈的语言身份特征，这会干扰语义信息的有效传递。为此，Xie等人提出了通过识别并消除低秩子空间来改善这一状况的方法。这种方法可以有效减少语法和其他非语义因素的影响，从而提高跨语言任务的表现[^2]。 #### 应用于生成式多语言语音合成 当涉及到生成式的多语言语音合成功能时，LLM可以通过理解不同语言之间的细微差别以及它们各自的发音规则来进行高质量的声音再现。借助先进的声码器技术，如WaveNet或Tacotron系列架构，结合精心设计的文字转音素映射算法，使得即使是对不常见字符也能实现逼真的发声效果。此外，利用上述提到的技术去除不必要的语言特性可以帮助创建更加通用且适应性强的TTS(Text-to-Speech)系统。 ```python import torch from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-xlsr-53") model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-xlsr-53") def transcribe_speech(audio_input): inputs = processor(audio_input, sampling_rate=16000, return_tensors="pt", padding=True) with torch.no_grad(): logits = model(**inputs).logits predicted_ids = torch.argmax(logits, dim=-1) transcription = processor.batch_decode(predicted_ids)[0] return transcription ``` #### 实现高效的机器翻译服务 对于构建高效可靠的MT(Machine Translation)平台而言，LLM同样扮演着重要角色。通过对大量平行文本数据集的学习，加上适当的微调过程，可以使模型更好地捕捉源目标语言间的转换规律。特别是采用去除了特定语言属性后的向量表征方式后，进一步增强了对未知领域话题的理解力和服务质量稳定性。 ```python from transformers import MarianTokenizer, MarianMTModel tokenizer = MarianTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-zh') model = MarianMTModel.from_pretrained('Helsinki-NLP/opus-mt-en-zh') def translate_text(input_text): batch = tokenizer([input_text], return_tensors='pt', truncation=True, max_length=512) generated_ids = model.generate(**batch) translated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True) return translated_texts[0] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值