weixin_41710583的博客

1 数据部分数据来源于司机和汽车司机的对话内容，司机的汽车遇到问题，向技师请教汽车可能出现的问题。标签是关于司机和技师之间问题对话内容之间的总结。将数据经过程序处理成batch内容之后，将技师与汽车司机的对话内容，用encoder_input表示，其中对应的mask部分（将非0的表示为1，0表示为0）用encoder_mask表示。将其中的标签部分，还有encoder_input_en。和encoder_input不同的是,encoder_input_toen表示的是将在词表中表示unk的部分，通过记录

1.数据介绍：数据是来自汽车的数据集，是车主和技师的对话数据，主要内容是关于车遇到故障或其它问题的对话内容。我个人理解的任务是，车主的车遇到了问题，然后根据车主和技师之间的对话内容，从中得到摘要内容。也就是最后的摘要答案。数据处理的时候，需要把所有的问题和对话内容还genju 有一些车的型号，都根据分词后，放到一段文字当中去形成一句话，每个样本都这样去做。对应的样本标签也这样去做。在处理文本的时候，根据实际情况，将无用的词（比如和实际应用规定的词不相关的词去掉）还有停用词去掉。将不在词表中的词用

上次主要总结了抽取式的收获，本次主要总结的是生成式的收获以及遇到的问题。数据的处理部分，已经在上次总结过了。这次主要是围绕模型的部分、预测的细节部分进行总结。一、模型部分1、encoder 主要是对对话内容中得到的数据，进行语义转换。得到更高维的数字特征，进行计算。代码中采用的是bert的预训练模型。将对话内容分割后通过bert预训练模型，转换为对应的数字。（这里的数字为对应token的索引,和词向量中的语义特征相对应。）将对应的对话识别片段segment和掩码（数字不为0的标记1，为0的标记0

本次主要复习了bert_sum中的抽取方式提取文本摘要的部分。记录自己现在的收获与遇到的问题。01数据集：数据集是来自一份汽车对话的数据集，其中内容主要是技师和车主的对话内容。然后对这一份数据集合的每一个样本的整体性内容做了文本摘要。我们需要做的是在一份相类似的数据集上，根据技师和车主的主要对话内容，然后结合该样本的其它辅助信息，给出文本摘要的预测。02 数据处理部分，<1>把数据集中技师和车主的对话内容中，多段对话的内容，根据特定的符号如：'/'、'|'、'，'、'。'进行分离。然

本周主要是复习了有关Match_sum、Bert_sum的项目。接下来说说我对于Match_sum的了解。01首先是数据部分，由文件的原文本text、原文本对应的摘要summary、和从bert_sum中候选出的几个重要句子，然后从中选出的候选的摘要组合candidate构成。02 将summary、text、candidate对应的文本转化为数据的格式，选用bert的预训练模型，将summary和text通过bert模型计算相似度得分得到summary_score,将text和ca

本周主要是学习了三胞胎网络模型和match_sum的模型01 三胞胎的模型，主要是根据多分类任务，分为positive、negative、achor三种类型。

在查看了https://github.com/chriskhanhtran/bert-extractive-summarization.git关于摘要

transformer 是当前最新使用模型的基类之一。今天主要介绍transformer的构成，以及在实现这个模型时自己遇到的一些问题。1 encoder的构成01 embed

本周主要有面对out of vocabulary时的一些方法，以及对应的pgn模型。1、当我们面对oov问题出现，往往的解决方法有以下：01 忽略oov 遇到不认识的词，直接忽略，但是这种方法会严重影响文本摘要的意思。02 用默认的词代替（unk） 但是这种方法会直接造成，摘要内容可读性很差。03 扩大词表 这种方法，从某种程度上可以缓解。但是也会带来计算量大的问题，以及有一些低频词，是不能很好的学习到其中的意思（因为深度学习是基于统计来学习的）。04 将token分解为char级别..

本周主要学习了，在生成token的过程中的使用方法，以及可能遇到的问题和对应的解决方法。01 greedy（贪心算法）这个算法，每次预测token的时候，选择其中概率最大的那个token。直到预测到<end>时结束。这种算法的缺点：往往预测的句子，是没有什么意义的话，感觉说的不是人话。02 beam search这个算法是每次选择概率最大的k个，然后在该序列中依据前面已经预测过的token预测当前的token，加和最大概率的方式再选择k个,直到预测出<end>时停

本周主要是复习了rnn,lstm,gru的内容。rnn是通过上一个状态的信息与当前的输入,建立函数，通过sigmod激活函数预测下一个状态。一直到该序列最后一个token结束。rnn因为在每一个状态都是共享参数的，在反向传播的过程中，因为激活函数取值范围为（-1，1）直接，所以会造成梯度消失。在长序列任务中，效果表现的不好。lstm在一定程度上解决了rnn的梯度消失的问题。它是通过门控机制来控制梯度的消失。lstm中使用了遗忘门f,更新门i，输出门o。这个三个门都是通过上一个的状态信息和当前层的输入

本周主要是学习了词向量的从从前到现在的一个发展历史。01 最开始表达词与词之间的关系用语义相近来表示，可以用近义词去替换这个词。但是存在的一个问题是，用近义词表达一个词的意思的作用是有限的，在不同的语境中同一个词无法用固定的词来表示。02 之后开始使用one-hot表示词的含义。在一个一维的空间里面，是某个词则为对应编码位置用1表示，其它位置用0表示。缺点是不同词之间没有相似度的关系，不能表示词与词之间的关系。而且词向量的维度要求非常大。03 为了表示语境中不同位置词与词的关系，引入了N

01 本周主要是做了对rasa的一个整体的梳理，知道了自己在rasa方面的很多大概懂但是又不够理解的地方。rasa是一个整体而综合的东西，会涉及到很多模型任务，以及规则。现在自己主要对nlu的部分的模型有了相对深一点的理解，因为其中的cross_woz场景，其中的nlu部分的分类代码，是自己亲自去实现的。而实体识别和Dialogue State Time的任务，也只是粗略的看了代码，没有整体自己的去实现。其中遇到一个问题是其中的belief state这部分数据，没能找到其中的实现方式，所以没能最终跑通任.

收获01 学习了GPT2的一些基本概念，重新回顾了bert中attention的基本概念和原理，了解了gpt2中mask的attention的基本原理。02 看了生成模型中interact.py的内容，每次根据对话，根据设定的迭代值，预测出下一个字的内容，迭代完成后，下一句话也完成。其中彩用了topk和topp的方法，来对下个 单词进行预测。03 复习了关于rnn部分的相关知识点，更清楚的知道rnn在每个timestep都是对当前batch下的对应字符，进行处理，将信息合并到下一个t...

本周主要的收获：01对于模型调优器：Adamw有了更新的理解，其中param是需要可迭代的类型，列入下图中的 optimizer_group_parameters，列表中套用字典，可以对参数进行设置。因为Adamw中需要计算decay，但是可以选择一部分参数不需要计算decay，这就是里面设置字典的意义。optimizer_group_parameters = [ {"params": [p for n, p in intent_with_bert_model.named_paramete

本周简要总结一下自己的收获和遇到的问题:收获：01PRE_TRAINED_MODEL_NAME='bert-base-cased'tokenizer=BertTokenizer.from_pretrained(PRE_TRAINED_MODEL_NAME)需要导入的bert预训练分词器模型，可以用来给文本分词。导入分词器后，依然代表BertTokenizer类。02encoding = tokenizer.encode_plus( sample_txt, m...

一、基于bert的分类任务识别intent01　数据包含一段话和这段话所包含的intent＋entity，然后从中识别出标注的intent+entity　　（１）处理数据部分，将文本数据切分为token列表。　　（２）将intent+entity构成的列表数据，然后为对应位置数字　　（３）将token根据bert模型，将文本形式转化为数字　　（４）将数据输入构建好的基于bert的预训练模型，并对结果进行finetinue，得到loss (5) 设置500epochs...

这段时间主要是根据理解到的rasa的原理，实现一个可以调用天气功能的bot。简要分享一下自己遇到的坑,以及解决方式。01 当测通要调用的天气接口的API后，选择要传的参数城市后，才能得到不同城市的天气情况。所以如何定位到位置信息，是需要解决的第一步。rasa提供了实体(entity)，通过实体可以将地址信息(address)识别出来。但是有一个问题需要注意，因为我和bot的对话是用中文写的，所以在配置pipeline的时候，要注意到自带的WhitespaceTokenizer是不会识别中文实体的

接触对话机器人rasa框架有一周的时间，谈谈自己的理解与困惑。1、主要收获当前接触的rasa主要学习到有两部分构成，nlu部分和core部分。nlu部分主要用来识别intent(意图)，根据用户说的话，获得用户的需求。core部分，主要是根据用户的对话，更智能的方式理解用户的需求。并提供具体的回复建议。利用的原理可以使用机器学习、深度学习的框架,然后预测出关于需求的内容。其中domain部分用来根据用户意图，机器人给予反馈。story部分，是根据具体的情节内容，和用户实现多轮对话，并且可以追

01简述bidafbidaf主要是通过encoding中的charembeding和word embeding 通过lstm构建出contextual embedding部分，然后contextual embedding构建context-to-query和query-to-context的注意力方式，融合query和context的信息，然后将它们之间融合，再通过lstm得到对应的output结果。参考文章链接：https://towardsdatascience.com/the-definiti