论文笔记
关注
分享
扫一扫
文章平均质量分 72
UQI-LIUWJ
这个作者很懒，什么都没留下…
展开
-
论文略读： TransTab: Learning Transferable Tabular Transformers Across Tables
2022 neurips原创 2024-12-28 03:35:22 · 88 阅读 · 0 评论 -
论文略读：Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
2022 TPAMI。原创 2024-12-27 18:29:36 · 88 阅读 · 0 评论 -
论文结论：From Redundancy to Relevance: EnhancingExplainability in Multimodal Large Language Models
在浅层与深层中不同token信息流汇聚情况有所区别 浅层（1-11层）对于图像内容有显著的响应（与提示选项相关的图像区域高亮显示） 模型在理解提示中的上下文、问题和选项后，能过滤并专注于与提示相关的图像内容 在深层（12-32），系统token和用户token的信息流汇聚更为明显，而图像token的汇聚则相对较弱，甚至对输出token没有什么贡献 这些深层可能依赖于浅层收集的信息，并结合LLM的知识，降低了对图像直接关注的依赖。原创 2024-12-13 00:20:02 · 170 阅读 · 0 评论 -
论文笔记：Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See
2024 10月的arxiv。原创 2024-12-13 00:03:35 · 361 阅读 · 0 评论 -
论文结论：GPTs and Hallucination Why do large language models hallucinate
GPTs and Hallucination原创 2024-12-12 20:44:46 · 473 阅读 · 0 评论 -
论文略读：LLMs+Persona-Plug = Personalized LLMs
24年9月的arxiv。原创 2024-12-03 17:58:44 · 149 阅读 · 0 评论 -
论文略读： ALPAGASUS: TRAINING A BETTER ALPACA WITH FEWER DATA
ICLR 2024。原创 2024-11-12 21:33:07 · 279 阅读 · 0 评论 -
论文笔记：TravelPlanner: A Benchmark for Real-World Planning with Language Agents
202402 论文。原创 2024-11-09 10:43:53 · 1254 阅读 · 0 评论 -
论文略读：GRAG:GraphRetrieval-Augmented Generation
202404 arxiv原创 2024-11-08 23:56:47 · 282 阅读 · 0 评论 -
论文笔记：Spatiotemporal Attention Fusion Network for Short-Term Passenger Flow Prediction on New Year‘s
IEEE Intellgent Transportation Systems Magazine, 2023原创 2024-11-08 00:28:11 · 204 阅读 · 0 评论 -
论文笔记：Spatio-Temporal Dynamic Graph Relation Learning for Urban Metro Flow Prediction
1 背景城市地铁网络是一个具有显著时空特征的动态图 不同站点有不同的交通模式，不是简单的空间连接关系 ——>论文提出了一种适用于地铁流预测的时空动态图关系学习方法，可以建模不同站点的不同交通模式，并捕捉站点之间的动态空间依赖关系。2 方法3 实验原创 2024-11-07 21:58:03 · 261 阅读 · 1 评论 -
论文笔记：FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction
1 背景1.1 时空预测方法的现有挑战大多数时空预测模型在面对不同下游数据集和任务中的分布变化时往往难以有效泛化 训练数据与测试数据之间分布不一致的假设成为了真实城市场景中准确预测的障碍 直接将从数据集 A 上学到的参数应用于数据集 B 的测试，可能因不同数据分布间的时空特征显著变化而导致性能不佳 1.2 论文思路提出了一个时空上下文提取机制，捕获来自未见数据的上下文信号，有助于适应多种时空场景 引入了一个统一的分布映射机制 通过正则化提示嵌入来对齐数据分布，促进从预原创 2024-11-06 22:06:56 · 265 阅读 · 1 评论 -
论文略读：Self-Knowledge Guided Retrieval Augmentation for Large Language Models
2023 emnlp findings原创 2024-11-03 13:39:59 · 362 阅读 · 0 评论 -
局部最优点论文观点集锦
在全连接层中交换任意两个神经元可以得到等价的神经网络。——>随机初始化的网络可能收敛到非常不同的局部最优值。不是做这一块的，就整理一下相对的论文的观点。原创 2024-11-02 09:57:04 · 272 阅读 · 0 评论 -
论文略读：LoRA+: Efficient Low Rank Adaptation of Large Models
ICML 2024从理论分析了LoRA最优解必然是右矩阵的学习率大于左矩阵的学习率（数量级差距是O(n)）原创 2024-11-01 12:19:43 · 285 阅读 · 0 评论 -
论文略读：OneChart: Purify the Chart Structural Extraction via One Auxiliary Token
2024 旷视的work。原创 2024-10-31 14:54:51 · 215 阅读 · 0 评论 -
论文略读：MathScale: Scaling Instruction Tuning for Mathematical Reasoning
ICML 2024。原创 2024-10-31 14:14:44 · 215 阅读 · 0 评论 -
论文笔记：Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering
2024 02 北大冯岩松组的work。原创 2024-10-31 11:50:13 · 321 阅读 · 0 评论 -
论文略读：Case-Based or Rule-Based: How Do Transformers Do the Math?
ICML 2024。原创 2024-10-31 11:29:04 · 308 阅读 · 0 评论 -
论文略读 RA-ISF: Learning to Answer and Understand from Retrieval Augmentation via Iterative Self-Feedba
ACL 2024。原创 2024-10-31 11:19:38 · 191 阅读 · 0 评论 -
论文略读：Can We Edit Factual Knowledge by In-Context Learning?
EMNLP 2023。原创 2024-10-28 22:50:37 · 330 阅读 · 0 评论 -
论文略读：Less is More: on the Over-Globalizing Problem in Graph Transformers
2024 ICML。原创 2024-10-27 15:16:17 · 209 阅读 · 0 评论 -
论文略读：Not all Layers of LLMs are Necessary during Inference
202404。原创 2024-10-26 17:19:09 · 261 阅读 · 0 评论 -
论文略读：AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
ACL 2024。原创 2024-10-26 16:44:00 · 664 阅读 · 0 评论 -
论文略读Fewer Truncations Improve Language Modeling
ICML 2024。原创 2024-10-26 14:59:16 · 595 阅读 · 0 评论 -
论文略读：MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning
LoRA的改进。原创 2024-10-26 11:02:27 · 212 阅读 · 0 评论 -
论文略读：The Power of Noise: Redefining Retrieval for RAG Systems
省流：在RAG中，噪声文档不仅没有对系统性能造成负面影响，反而能够显著提高系统的准确性。原创 2024-10-26 10:51:58 · 348 阅读 · 0 评论 -
论文略读：X-VARS: Introducing Explainability in Football Refereeingwith Multi-Modal Large Language Model
数据集+模型。原创 2024-10-26 09:12:39 · 318 阅读 · 0 评论 -
论文略读：MathBench: Evaluating the Theory and Application Proficiency of LLMswith a Hierarchical Mathem
数学benchmark，涵盖从小学、初中、高中、大学不同难度，从基础算术题到高阶微积分、统计学、概率论等丰富类别的数学题目。原创 2024-10-26 08:34:12 · 159 阅读 · 0 评论 -
论文略读： Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probab
ICLR 2024。原创 2024-10-25 11:53:11 · 151 阅读 · 0 评论 -
论文笔记：SIBO: A Simple Booster for Parameter-Efficient Fine-Tuning
ACL 2024。原创 2024-10-25 10:50:47 · 692 阅读 · 1 评论 -
论文笔记：LaDe: The First Comprehensive Last-mile Delivery Dataset from Industry
2023 KDD 最后一公里数据集原创 2024-10-22 17:42:30 · 1254 阅读 · 0 评论 -
论文略读：CBLab: Scalable Traffic Simulation with Enriched Data Supporting
2023 KDD。原创 2024-10-21 14:05:23 · 348 阅读 · 0 评论 -
论文略读：FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph （PKDD2023)
这是首次完成城市级别的细粒度交通预测。原创 2024-10-21 09:59:46 · 343 阅读 · 0 评论 -
论文略读：Graph Neural Processes for Spatio-Temporal Extrapolation
2023 KDD。原创 2024-10-20 20:46:04 · 503 阅读 · 0 评论 -
论文笔记：GeoFormer: Predicting Human Mobility using GenerativePre-trained Transformer (GPT)
2023 sigspatial humob workshop原创 2024-08-31 22:12:25 · 938 阅读 · 0 评论 -
论文笔记：Estimating future human trajectories from sparse time series data
sigspatial 2023 humob竞赛paper。原创 2024-08-31 20:29:03 · 509 阅读 · 1 评论 -
论文辅助笔记：Cell-Level Trajectory Prediction Using Time-embeddedEncoder-Decoder Network
1 train_task1.py2dataset.py2.1Task1TrainDataset2.2 Task1ValDataset3model.py4val_task1.py原创 2024-08-31 16:45:13 · 304 阅读 · 0 评论 -
论文笔记：GEO-BLEU: Similarity Measure for Geospatial Sequences
—>论文基于 BLEU，提出了GEO-BLEU。原创 2024-08-27 20:48:53 · 605 阅读 · 1 评论 -
论文辅助笔记：Large Language Models are Zero-Shot Next LocationPredictors
trajectory_split暂时略去。原创 2024-08-25 09:00:18 · 326 阅读 · 0 评论