qq_43391414的博客

​ bert的Embedding层由3个子层求和得到，分别是词向量层Token Embedings，句子层Segment Embeddings以及位置编码层Position Embeddings，特别注意的是，bert中的位置编码层是采用随机初始化训练学习得到，和transformer的正弦函数编码不同。原始bert是静态mask，也就是每个epoch训练的内容mask部分都是一致的，这样没法学习到更多有用的信息，roberta采用的是动态mask，每个epoch训练的mask都是重新处理的，效果更好。

具体来说，再训练一个模型C，这个模型学习如何给一个（问题，答案）打分，至于说给多少分，也是需要人类标注数据的，人类需要标注（问题，答案，打分），也就是说一个问题可能会有多个答案，好的不好的答案都有，但打分不同，这个模型C训练好了之后，就可以用来监督模型D了。在模型A的基础上，输入一个问题，模型A会输出一个答案，这个答案和问题一起交给模型C，我们可以得到一个得分，这个得分会反馈给模型A，从而模型A不断学习，想要提高得分，得到模型D。有监督微调，也就是给定问题和答案，对1中学习的预训练模型进行微调。

有人说，不知道名字有啥的，反正大家都会用，不需要学它叫什么名字。话虽如此，但是如果你说你的这种技术大有来头，等到你汇报给别人听的时候，或者写论文的时候，别人就会觉得你的东西逼格高，而不是干巴巴的说，我们提出了一个方法，这个方法非常直觉。这个方向其实挺小众的，然后其实也很直觉，所以你可能其实一直在用这个技术，只不过你不知道这个技术有一个专业的名字《基于案例的推理》而已。

文章目录前言WikidataYAGOConceptNetDBpedia前言今天介绍的一些知识图谱大多都是半自动构造的，并不一直都是人来添加的，另外，说他们是知识图谱或许都不太恰当，他们更像是一个项目，是一条龙服务，不但存储了很多知识，还支持着非常复杂的查询，甚至支持问答系统，而这你直接百度有可能搜索不到结果，因为搜索引擎做的是匹配工作，而问答系统会推理。下面就开始介绍一些常见的大型知识图谱。Wikidatahttps://www.wikidata.org/wiki/Wikidata:Main_Pa

文章目录前言CartPole-v1游戏结束stateaction和rewardPendulum-v1通用操作前言gym官网：http://gym.openai.com/envs/#classic_control。这gym的游戏真他妈坑，有很多游戏，但是只是粗略说说，而不说游戏具体规则。不但如此，坑2：Pendulum-v0都已经被gym官方认定过时了，导入会报错。但是这个网站却还没有更新Pendulum-v1过来，蛋疼。还有坑3：大家要看这个游戏的具体规则要进入github里面去看。例如Car

想要知道区别，我们得先知道他们分别是怎么做的。value-based:输入s，输出Q(s,a)policy-based：输入s，输出p(s,a)不但如此，还有区别value-based:输入s，输出Q(s,a)后，我们要选一个动作。其选取方法是：训练时使用epsilon-greedy（有一定探索）测试时使用argmax Q(s,a)（确定），也就是1-greedy（确定）。policy-based：输入s，输出p(s,a)后，我们要选一个动作。其选取方法是：训练时根据概率p(s,a)选

前言这两个东西区别我个人感觉还挺玄学的。看到有很多说法，但是却感觉说的不是一个东西。就比如有人总是喜欢把off policy分为行为策略和目标策略，说什么行为策略用来探索，目标策略用来学习。但是这个明显是DQN的特征（没学过DQN的有点吃亏哈）所以，甚至官方描述也是用这样的：On-policy: The agent learned and the agent interacting with the environment is the same. 行为策略和目标策略一样Off-poli.

Winograd是一个人， 全名叫做Terry Allen Winograd，是斯坦福的一个计算机科学家，谷歌创始人佩奇就是他的学生。其提出了Winograd schemas。不过，Winograd schema challenge并不是这个人提出的，而是 Hector Levesque，提出的原因是因为想要改善图灵测试，所以你可以认为Winograd schema challenge就是图灵测试的改进版本。那么这个挑战具体是什么呢？不知道你听过Coreference Resolution（共指消解），

查询性能预测（Query Performance Prediction，简称QPP）。用户向搜索系统提交一个查询，搜索系统就返回结果。现在搜索系统希望多一个功能，即告诉用户，这次返回的结果是差还是好。如果是差，那么用户可能会调整自己的查询，重新提交给搜索系统。不但如此，搜索系统可以先不要把结果给用户，先QPP一下，如果差就调整结果，直到比较好了，再返回给用户。TREC于2003年在Ad hoc检索任务的基础上提出了Robust任务，旨在关注检索系统的鲁棒性问题。信息检索的顶级会议ACM SIGIR也于

本文仅介绍思路，不进行实践。以3个城市为例，假设给定的TSP问题中城市是以坐标的形式给出，那么坐标是一个二维的向量。从而我们设计一个SOM网络如下：我们希望做到的是，在训练完成后，每个城市（黑色）下面的两个绿色权值都是这个城市的坐标，正好对应2维。更重要的是，希望可以做到，实际中相邻的城市，在我们的这个网络中也是相邻的。举一个真实世界的例子，假设有4个城市，其在平面上分布如下图：那么我们使用SOM网络进行训练完成后，我们希望，他们的相邻关系在SOM网络中依然得到保持，即还是相邻的。如下：最后

问题定义车辆路径规划问题(Vehicle Routing Problem，VRP)一般指的是：对一系列发货点和收货点，组织调用一定的车辆，安排适当的车辆各自的行车路线，使车辆有序地通过它们，并回到发货点。但是，由于现实问题比较复杂，通常会继续增加更多的约束条件，比如某个收货点可能必须要下午五点前送达，那么原来的最优路径可能因为这个而突然打破，这就变得很复杂了。我们本文只介绍简单的那个VRP问题。问题介绍简单的VRP问题可以看成是多个TSP问题。如下，假设绿色代表发货点，红色代表收货点，假设我们有两辆

PSO:particle swarm optimization注：以下的鸟就是粒子。总体思想有若干只鸟xix_ixi​，位置可能各不相同，但是每只鸟需要记录下自己的个体历史最优解pbestipbest_ipbesti​，并分享给大家，在这些个体历史最优解中，记最优的那个为全局最优解gbestgbestgbest。然后，每只鸟都根据pbestipbest_ipbesti​和gbestgbestgbest来调整自己的位置，其实就是希望在这两者的中间部分搜寻。算法双要素每只鸟都有一个位置xxx和速度vv

tabu search:禁忌搜索。思想思想很简单，所以本文也将很快结束。举个例子（非对称TSP问题）来说明其思想：0.假设有一个非对称TSP问题，其一共有四个城市ABCD。下面是这个问题对应的邻接矩阵，比如第一行第三列的0.5表示：从城市A到城市C路程为0.5。我们要求一条最短的路径，能够从A出发，经过其他所有城市，并回到A。比如路径ABCDA，那么其对应的路径长度为4。假设禁忌表长度为3，相关概念（tabu_table,tabu_size）。1.我们假设初始解就是ABCDA，并且定义邻域概念为两

背景：全局搜索工作量太大了，但是可以得到最优解，局部搜索工作量小很多，但是未必得到最优解。在这种程度上来说，局部搜索有点类似于贪心搜索。通常，我们需要定义一下什么叫做局部，也就是邻域的概念，可以参见：组合最优化中邻域的概念。对于TSP问题，我们可以进行如下局部搜索，裁剪两条边，新增两条边（并保证新增之后仍然是一个环路和不和原来的相同），然后记录效果变化。在当前初始环游解的基础上，枚举所有如下情况，可以得到一系列效果记录，选取那个最好的效果，如何继续循环下去，直到达到局部最优解。（注意：1.裁剪两条边之后

prufer编码：用n-2位自然数唯一的表达出一棵n个节点的生成树。而且两者相互可逆，即给定一颗生成树的连接方式，可以唯一确定这棵树的编码。Cayley定理：n个顶点的完全图中有nn−2n^{n-2}nn−2棵不同的生成树。显然这两个描述具有很强的联系，n个顶点编号为1,2,…n。有n-2个位置，随便填入1,2,…n中的一个数，这有nn−2n^{n-2}nn−2种可能。所以我们要证明Cayley定理，只需要证明prufer编码。prufer编码1.设有如下生成树（n=6)，根据prufer编码，我

WordNet是由Princeton 大学的心理学家，语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。Wordnet的词汇结构包括九大类：上下位关系、蕴含关系、相似关系、成员部分关系、物质部分关系、部件部分关系、致使关系、相关动词关系、属性关系。比如：上义词：hypernyms，superordinate下义词：hyponyms，subordinate花（玫瑰花，牡丹花），其中花是上义词，玫瑰花和牡丹花是下义词。synonym:同义词polysemous:多义词，一词多义的。

ACL,NAACL,EMNLP,IJCNLP都是国际顶会，都是有关NLP（自然语言处理）方面的会议。都是由ACL（计算语言学协会）组织的会议。相关资料：协会：ACL（计算语言学协会）官网：https://www.aclweb.org/portal/协会ACL举办的会议：ACL2021官网：https://2021.aclweb.org/NAACL2021官网：https://2021.naacl.org/EMNLP2021官网：https://2021.emnlp.org/IJCNLP202