sdu_hao的博客

原文链接导读：本文的目标是对近期火爆异常的Prompt相关研究作一些追溯和展望，内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》，并掺杂了笔者的一些个人见解。另外，封面及文中使用的图片均截取自该论文，转载请注明出处。文章目录1. Prompt的产生和兴起2. 什么是Prompt3. Prompt的设计Prompt的形状手工设计模

原文链接本文中，作者用一些简单的视觉案例解释了进化策略（Evolution Strategies）的工作方式，其中包括了简单进化策略、简单遗传算法、CMA-ES、自然进化策略以及 OpenAI 的进化策略，并给出了形象的动态图过程展示。本文尽量简化了公式，如果读者想理解更多的细节，提供了原始文章的链接。在文章中，我将展现如何将这些算法应用到诸如 MNIST、OPENAI Gym、Roboschool 和 PyBullet 等多种环境中。文章目录简介什么是进化策略？简单进化策略简单遗传算法协方差矩阵适

摘录自 机器翻译 基础与模型 东北大学文章目录1. 背景2. 机器翻译需要更多的上下文3. 图像翻译4. 基于图像增强的文本翻译4.1 基于特征融合的方法4.2 基于联合模型的方法5. 参考文献1. 背景基于上下文的翻译是机器翻译的一个重要分支。传统方法中，机器翻译通常被 定义为对一个句子进行翻译的任务。但是，现实中每句话往往不是独立出现的。比 如，人们会使用语音进行表达，或者通过图片来传递信息，这些语音和图片内容都 可以伴随着文字一起出现在翻译场景中。此外，句子往往存在于段落或者篇章之中， 如果要理

https://quillbot.com/ （一句句子不会写，可以先写个草稿，用此改写）https://www.dictionary.com/ 这个查单词意思https://www.thesaurus.com/ 这个查同义词替换https://linggle.com/ 这个查用法搭配，神器短语不能直接找到就 Google，“blabla meaning/definition”，“what does blabla mean”复习语法 https://www.bilibili.com/video/a.

Anaconda没有环境更名的命令，但是可以通过克隆旧环境产生一个相同的新环境，然后把旧环境删掉。进入旧环境conda activate old_env_name克隆旧环境conda activate -n new_env_name --clone old_env_name查看克隆结果conda info --envs退出并删除旧环境conda deactivateconda remove -n old_env_name --all...

项目地址A step-by-step guide to applying RUDDER在本教程中，我将向您展示如何逐步应用RUDDER以及如何使用PyTorch实现奖励重新分配模型。 您可以将其用作快速指南，以将RUDDER应用于您的RL设置，并预先评估RUDDER是否可以事先改善您的任务。 该代码可以在合理的时间内在通用CPU上运行。RUDDER Blog, RUDDER Paper, Rudder Repo文章目录A step-by-step guide to applying RUDDEROv

原文地址论文《RUDDER: Return Decomposition for Delayed Rewards》最近，通过复杂的策略游戏，需要model-free强化学习的具有延迟奖励的任务引起了很多关注。例如，DeepMind目前专注于延迟奖励游戏《夺旗》和《星际争霸》，而微软则在搭建Marlo环境，Open AI宣布了Dota 2的成就。使用无模型的强化学习来掌握这些具有延迟奖励的游戏带来了巨大的挑战，并且几乎是无法克服的障碍，请参见出色的理解OpenAI Five博客。延迟的奖励很常见，因为它们通

文章目录1. 背景2. 流程和细节3. 总结1. 背景利用rnn，lstm学习上下文之间的关系，无法实现并行化，给模型的训练和推理带来了困难，因此提出了一种完全基于attention来对语言建模的模型，叫做transformer。transformer摆脱了nlp任务对于rnn，lstm的依赖，使用了self-attention的方式对上下文进行建模，提高了训练和推理的速度，transformer也是后续更强大的nlp预训练模型的基础。2. 流程和细节<1> Inputs是经过padd

在(编码器—解码器(seq2seq))里，解码器在各个时间步依赖相同的上下文向量来获取输入序列信息。当编码器为循环神经网络时，上下文向量来⾃它最终时间步的隐藏状态。现在，让我们再次思考那一节提到的翻译例子:输⼊为英语序列“They”“are”“watching”“.”，输出为法语序“Ils”“regardent”“.”。不难想到，解码器在⽣成输出序列中的每一个词时可能只需利用输入序列某一部分的信息。例如，在输出序列的时间步1，解码器可以主要依赖“They”“are”的信息来生成“Ils”，在时间步2则主要

本篇博客介绍如何使用Encoder-Decoder来预测不定长序列。假设解码器的输出是一段⽂本序列。设输出⽂本词典(包含特殊符号"")的⼤小为Y ， 输出序列的最大长度为T′T'T′。 所有可能的输出序列一共有O(∣Y∣T′)O(|Y|^{T'})O(∣Y∣T′)种。这些输出序列中所有特殊符号" "后⾯的⼦序列将被舍弃。文章目录1. 贪婪搜索2. 穷举搜索3. 束搜索4. 总结1. 贪婪搜索让我们先来看一个简单的解决⽅案:贪婪搜索(greedy search)。对于输出序列任一时间步t’，我们从|Y

在⾃然语⾔处理的很多应用中，输⼊和输出都可以是不定长序列。以机器翻译为例，输⼊可以是⼀段不定长的英语文本序列，输出可以是一段不定长的法语文本序列，例如:英语输入:“They”、“are”、“watching”、“.”法语输出:“Ils”、“regardent”、“.”输入和输出都是不定长序列时，我们可以使用编码器—解码器(encoder-decoder)或者 seq2seq模型 。这两个模型本质上都用到了两个循环神经网络（或transformer），分别叫做编码器和解码器。编码器用来分析输入序列，解码

低资源机器翻译面临的主要挑战是缺乏大规模高质量的双语数据。这个问题往往伴随着多语言的翻译任务[1]。也就是，要同时开发多个不同语言之间的机器翻译系统，其中少部分语言是富资源语言，而其它语言是低资源语言。针对低资源语言双语数据稀少或者缺失的情况，一种常见的思路是利用富资源语言的数据或者系统帮助低资源机器翻译系统。这也构成了多语言翻译的思想，并延伸出大量的研究工作，其中有三个典型研究方向：基于枢轴语言的方法[2]、基于知识蒸馏的方法[3]、基于迁移学习的方法[4,5]，下面进行介绍。1. 基于枢轴语言的方法

原文地址1. 介绍在强化学习中，智能体的目标被形式化表征为一种特殊信号，称为奖励/reward，它通过环境传递给智能体。在每个时刻，reward都是一个单一标量数值。非正式地说，智能体的目标是最大化其收到的总奖励。这意味着需要最大化的不是当前奖励，而是长期的累积奖励。我们可以将这种非正式想法清楚地表述为奖励假设：我们所有的“目标”或“目的”都可以归结为:最大化智能体接收到的标量信号(称之为奖励)累积和的概率期望值。使用奖励信号来形式化目标是强化学习最显著的特征之一。智能体总是学习如何最大化奖励。如

本文翻译自 A (Long) Peek into Reinforcement Learning在本文中，我们将简要介绍强化学习（RL）这个领域，从基本概念到经典算法。近年来，人工智能（AI）领域出现了两个令人振奋的消息。 AlphaGo在围棋游戏中击败了最好的职业人类玩家。 之后扩展的算法AlphaGo Zero在没有人类知识监督学习的情况下，以100-0击败了AlphaGo。 在DOTA2 1v1竞赛中，顶级专业游戏玩家输给了OpenAI开发的机器人。 知道了这些之后，很难不对这些算法背后的魔力-强化

原文地址作者：王希廷 谢幸利用强化学习实现封装式可解释推荐系统单纯的推荐结果和推荐结果+理由的组合，哪个更让你信服？长篇累牍的推荐语和言简意赅的关键词，你更愿意看哪个？这是人们每天都会面对的场景，也是可解释推荐系统研究需要不断优化的问题。在上一篇文章《可解释推荐系统：身怀绝技，一招击中用户心理》中，微软亚洲研究院的研究员王希廷和谢幸介绍了可解释推荐系统的分类、推荐解释生成方法以及面临的机遇和挑战。本文中，研究员从解释的目标出发，结合现有的方法流程，介绍了他们改进过的新的结构，最后也反思了研究有待改进

原文地址原文作者：王希廷、谢幸

原文地址本文作者：谢幸、练建勋、刘政、王希廷、吴方照、王鸿伟、陈仲夏推荐系统作为一种过滤系统，不仅能够帮助用户在海量的信息中快速寻找到自己需要的内容，也能帮助商家把自己的商品更精准地推荐给用户，增强用户与商家之间的交互性。搭建更加有效的个性化推荐系统，对商家和用户都具有更深远的意义。在本文中，微软亚洲研究院社会计算组的研究员们从深度学习、知识图谱、强化学习、用户画像、可解释性推荐等五个方面，展望了未来推荐系统发展的方向。“猜你喜欢”、“购买过此商品的用户还购买过……”对于离不开社交平台、电商、新闻阅读

推荐系统(recommender system)指的是从用户过去的购买习惯/记录中学习用户的兴趣，从而给用户推荐合适的商品，是一个单轮交互的过程。任务型对话系统(task-oriented dialogue system)通过多轮对话，在对话过程中，捕捉用户的兴趣，完成一个特定的任务，是一个多轮交互的过程。对话推荐系统(conversational recommender system, CRS)由于推荐系统更多的是去关注用户过去的偏好，但是用户当前的兴趣可能已经改变。而对话系统更多的..

原文地址详解如何充分发挥先验信息优势，用MRC框架解决各类NLP任务本文将讨论如何将命名体识别、指代消解、关系抽取、文本分类等 NLP 任务转化为 MRC（机器阅读理解）任务，利用 MRC 框架的 query 所蕴含先验信息的优势，不但由此获得效果上的显著提高，还将赋予模型 Domain Adaptation、Zero-shot Learning 等多方面的能力。让我们先梳理一下 MRC 的基础知识。文章目录1. 什么是MRC？2. MRC框架尝试解决的NLP任务MRC框架解决NER任务2.2 M

原文地址大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回​​到您的终端。一个命令通常从一个叫标准输入的地方读取输入，默认情况下，这恰好是你的终端。同样，一个命令通常将其输出写入到标准输出，默认情况下，这也是你的终端.重定向命令列表如下：文章目录1. 输出重定向2. 输入重定向3. Here Document4. /dev/null 文件1. 输出重定向重定向一般通过在命令间插入特定的符号来实现。特别的，这些符号的语法如下所示:command1 > file1上面这个