- 博客(10)
- 收藏
- 关注
RSS订阅原创 论文阅读笔记《Toward Unified Controllable Text Generation via Regular Expression Instruction》
为解决可控文本生成中现有方法难以适配多约束类型及组合的问题，研究提出正则表达式指令（REI），通过基于指令的机制充分利用正则表达式优势，统一建模词汇、位置、长度等细粒度约束及复杂组合；REI采用类HTML标记语言设计指令（如<mask_i><length=n>），支持两种应用范式——对中型语言模型（如3B参数的FLAN-T5-xl）进行微调、对大型语言模型（如GPT-3.5）进行8-shot少样本上下文学习，且无需修改模型架构或解码逻辑；
2025-10-27 08:51:52
828
原创 论文阅读笔记《Harnessing Multi-Agent Collaboration for Fine-Grained Precise Control in Text Generation》
针对受控文本生成（CTG）领域中传统方法（如小模型主导LLM解码、指令模型难处理细粒度控制）的局限及实际应用中成本、可扩展性、领域知识学习的需求，阿里巴巴团队提出AgentCTG多智能体协作框架，该框架整合文本生成模块（反射机制）、去中心化质量检测模块（反馈池）、自由性能基于自动提示生成模块三大核心模块，并引入投票式、遗传算法式协作机制，可高效处理毒性缓解、情感转换、角色驱动重写三大CTG任务；
2025-10-25 19:49:05
1080
原创 论文阅读笔记《CTGGAN: Controllable Text Generation with Generative Adversarial Network》
为解决传统可控文本生成（CTG）方法的缺陷——微调语言模型（LM）存在“幻觉”和灾难性遗忘、条件语言模型（CLM）需从头训练且依赖定制数据集、解码时方法采样效率低且约束权重静态，研究团队提出CTGGAN模型：以带logits偏差的语言模型（如GPT-2）为生成器（Generator）生成约束文本，以含可学习约束权重组合的判别器（Discriminator）评分并更新生成结果，且首次提出约束权重随上下文动态变化的假设。通过在15种英文前缀的文本补全任务（1000个高积极情感训练样本）和中文客服对话场景。
2025-10-19 20:19:02
843
原创 论文阅读笔记《CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP》
本文提出一种面向低资源NLP的可控、高效且无需训练的数据增强技术；其核心是从低资源数据集实例中提取词汇、句法、语义（标签）、长度、概念五类启发式约束，将约束转化为自然语言指令，驱动现成的指令微调大型语言模型（LLM）生成新训练实例；该方法在11个数据集（涵盖序列分类SC、命名实体识别NER、问答QA 3类任务）上均优于基线方法，性能提升，且首次实现对数据增强生成过程的显式控制，具备跨域适应性，无需复杂解码约束或模型微调。训练-free：无需微调LLM或下游模型，直接使用现成的指令微调LLM，降低计算成本。
2025-10-18 17:24:59
925
原创 论文阅读笔记《Controllable Text Generation for Large Language Models: A Survey》
LLM生成文本质量很高，但实际应用中无法满足一些要求，例如金融或新闻报道领域，模型要避免误导性、歧视性的内容，还要精确匹配特定条件和用户需求（例如满足某种写作风格、生成富有诗意的文本等）。可控生成（CTG）确保生成的文本遵守预定义的控制条件，如安全，情感，主题一致性和语言风格，同时保持高标准的有用性，流畅性和多样性。CTG中的控制条件可以是显式或隐式的，显式包括明确的提示（eg.生成具有幽默性的文本），隐式包括指导模型符合某种条件（eg.客服服务系统中生成无毒无害无歧视的内容）
2025-10-15 19:42:32
908
原创 论文阅读笔记《Foundations of GenIR》
本文讨论了现代生成式AI模型对信息访问（information access，简称IA）系统的基本影响。跟传统AI相比，生成式AI的优势在于大规模训练和高级数据建模，它能生成更高质量、更像人话的回答，为IA范式的发展带来了全新的机遇。信息生成和信息合成。信息生成：生成直接满足用户需求的定制内容，提供即时响应。信息合成：利用生成式AI的能力来集成和重组现有信息，提供接地气（？原词是grounded）的响应并减轻模型幻觉等问题，适用于需要精确度和外部知识的场景。
2025-02-27 17:19:26
1735
1
原创 基于《From Matching to Generation: A Survey on Generative Information Retrieval》的生成式检索(GR)技术调研
最初，LLMs基于统计学和神经网络的语言模型，通过在大规模文本语料库上进行预训练，学习了语言的深层语义特征，大大提高了文本理解能力。生成式语言模型，特别是GPT系列，通过模型规模和参数数量的增加，显著提升了文本生成和理解的能力。LLMs主要分为两类：编码器-解码器模型和仅解码器模型。编码器-解码器模型（如T5和BART）将输入文本转化为向量表示，通过解码器基于这些表示生成输出文本，处理NLP任务时将其视为文本到文本的转换问题。
2025-02-21 10:05:12
2077
原创 NQD（Natural Questions Dataset）自然问答数据集简介
一组数据由 一个问题、谷歌搜索引擎前五个搜索结果中的维基百科页面、一个短回答、一个长回答 四部分组成，如果页面不包含问题答案，则长短回答标记为NULL。短回答是一个或多个实体，长回答大多是段落（占73%），其余的包括表格（19%）、表格行（1%）、列表（3%）或列表项（3%）。公开发布的版本包括307,373个带有单一标注的训练样本，7,830个带有5-way标注的开发数据样本，以及7,842个作为测试数据的5-way标注样本。“如果你使用我们的数据集发表了论文，请将论文的URL发送到。
2025-02-10 17:10:20
1063
原创 RAG技术调研
对的学习笔记RAG：Retrieval-Augmented Generation 检索增强生成RAG本质：让模型获取正确的Context(上下文)，利用ICL (In Context Learning)的能力，输出正确的响应。
2024-12-31 09:47:05
1994
原创 论文阅读笔记：《Exploring False Hard Negative Sample in Cross-DomainRecommendation》
推荐中的负采样旨在为稀疏的用户-项目交互捕获信息丰富的负样本，以提高推荐性能。传统的负采样方法除了选择默认的随机样本外，还倾向于选择强负样本。然而，这些强负样本采样方法通常与假性强负样本(FHNS)作斗争，当用户与物品的交互尚未被观察到，就被选为负样本时，就会发生这种情况，而用户一旦接触到这个物品就会与它进行实际交互。这种FHNS问题可能会严重混淆模型训练，而大多数传统的硬负抽样方法并没有系统地探索和区分FHNS和HNS。
2024-08-10 08:35:41
808
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人