- 博客(21)
- 收藏
- 关注
RSS订阅原创 多粒度结构知识蒸馏进行语言模型压缩
近年来，将知识通过蒸馏的方式从大模型转移到小模型获得越来越多的关注。以前的方式主要从单粒度语言单元中获取知识并进行知识转移，这种方式不能很好的表示文本中丰富的语义信息，可能回丢失某些重要信息——忽视了模型中的结构信息。本论文提出了一个新的知识蒸馏框架从多粒度语义中提取中间表示（tokens、spans和samples）将知识形成为更复杂的结构关系，指定为基于多粒度表示的二元交互pair-wise interactions和三元几何角度triplet-wise geometric angles。
2023-04-21 19:51:48
529
原创 自然语言处理——学习笔记（8）问答系统和机器阅读理解
问答系统（QA）是一个人与计算机交互的过程。其中包括了解用户的需求，（输入为自然语言查询语句）；从选定的资源中检索相关的文档、数据或知识，产生相应答案并以有效的方式回答问题。输入：自然语言问句输出：答案。
2023-01-01 21:13:52
539
原创 自然语言处理——学习笔记（7）预训练语言模型
给整个NLP预训练模型领域提供了一个通用框架，把所有NLP任务都转化成一种形式（text-to-text），通过这样的方式可以用同样的模型，同样的损失函数，同样的训练过程，同样的解码过程来完成所有的NLP任务。：自然语言处理任务往往用有监督方法学习，但标注数据有限，预训练方法可以通过自监督学习从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能。* 针对输入端：如何构造prompt，更好的对下游任务建模，使其能够激发预训练模型的潜能。
2023-01-01 20:04:11
1149
原创 自然语言处理——学习笔记（6）：NLP基础任务之序列生成
BLEU：BLEU（Bilingual Evaluation Understudy）是衡量模型生成序列与参考序列之间的N元词组（N-Gram）的重合度，最早用来评价机器翻译模型的质量，目前也广泛应用在各种序列生成任务中。选择-生成式模型Decoder：编码端和解码端有各自的词表，二者可相同可不同，解码端需要处理集外词OOV，一般用UNK代替，该方法可有效处理输出端OOV问题。既可以从输入端C的标识词典中产生也可以从输出端Y的标识词典中产生，这样既可以生成高质量的摘要，也可以处理原文中的未登录词（OOV）
2022-12-30 17:40:54
1237
原创 自然语言处理——学习笔记（5）：NLP基础任务——序列标注
如果系统在 t 时间的状态 qt 只与其在时间t-1的状态相关则系统构成离散的一阶马尔科夫链（马尔可夫过程）：建立输出之间的关系——CRF模型（设置一组参数A学习标签之间的状态转移概率）：将输入的语言序列转化为标注序列，通过标注序列标签含义来解决问题。隐藏状态s：一个系统的真实状态，可由一个马尔可夫过程进行描述。状态转移概率矩阵A：包含了一个隐藏状态到另一个隐藏状态的概率。主要问题：命名实体识别、信息抽取、词性序列标注。观察状态o：在这个过程中可视的状态。观察概率矩阵B：从隐藏状态。神经网络序列标注模型。
2022-12-29 21:27:19
1179
原创 自然语言处理——学习笔记（4）：NLP基础任务——文本分类&文本匹配
RNN属于“biased model”，一个句子中越往后的词重要性越高，这有可能影响最后的分类结构，因为对句子分类影响最大的词可能处在句子的任何位置。根据任务对原文本加入附加信息并构建原文本与附加信息的关系图（将附加信息的结构信息融入文本），然后利用图卷积的方法提取文本有效的特征表示。将文本序列看作时间序列，不断更新，最后得到整个序列的表示，这种表示中包含的是序列的顺序信息。基于预训练模型(Bert)：通过预训练模型形成句表示，然后将该句表示作为分类的输入。：对文本进行图卷积分类。序列结构文本分类框架。
2022-12-29 16:14:13
815
原创 自然语言处理——学习笔记（3）注意力机制
重点传统注意力机制模块和结构，计算方法不同应用场景nlp attention应用场景，具有什么优势编码方式（同一/不同序列编码，计算方式）本质上是一个加权求和模块。
2022-12-28 17:01:24
445
原创 自然语言处理——学习笔记（2） 语言模型+词向量
RNNLM模型可以保留每个词的全部历史信息，不需要简化成n-gram；特点：C&W目标函数是求目标词W与其上下文c的联合打分，而其他模型均为根据上下文c，预测目标词w。：一个词出现的概率只与它前面n-1个词相关，距离大于等于n的上文词会被忽略。NNLM、CBOW模型、Skip-gram、C&W模型。重点：建模方法、CNN、DNN、RNN优势与不足。刻画句子的合理性——统计自然语言处理的基础模型。分布式表示：用一个词附近的其他词来表示该词。：用数学的方法描述语言规律（语言模型）出现的概率只与它前面的。
2022-12-28 12:14:07
232
原创 自然语言处理——学习笔记（1）：深度学习基础
将问题在时序上分解为一系列相同的单元，单元的神经网络可以在时序上展开且能将上一时刻的结果传递给下一时刻，整个网络按时间轴展开，即可变长。双向RNN：每个时刻都有一个正向输入的隐层和一个反向输入的隐层，两个隐层分别可以表示一个词的上下文信息。CNN主要解决欧式空间中的问题，而GNN可以利用样本的结构信息，解决非欧氏空间问题。问题：距当前结点越远的结点对当前结点处理影响越小，无法建模长时间的依赖。应用：图像分类、图文标注、情感分类、机器翻译、序列标注。LSTM：长短期记忆网络。解决：LSTM、GRU。
2022-12-26 17:07:28
160
原创 从零开始：机器学习的数学原理和算法实践--学习笔记（2）
此学习笔记主要记录了机器学习的四个基本流程：数据准备、算法选择、模型训练、性能评估，以及各个阶段常见问题及解决方案
2022-12-07 17:41:08
261
原创 Python学习笔记
可迭代对象如list、dict、tuple、set是可迭代的（iterable）但是他们不是迭代器(iterator)，即他们不能用next()函数返回下一个数据元素，原因是Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数，即将一个函数作为参数传给另一个函数。
2022-09-15 09:39:23
179
原创 遗传算法详解 附python代码实现
遗传算法看了好久才把遗传算法搞懂，附一个链接这个是我看过有关遗传算法讲解最详细的一篇https://blog.csdn.net/ha_ha_ha233/article/details/91364937什么是遗传算法遗传算法是用于解决最优化问题的一种搜索算法。从名字来看，遗传算法借用了生物学里达尔文的进化理论：“适者生存，不适者淘汰”，将该理论以算法的形式表现出来就是遗传算法的过程。主要过程初始化一个种群，种群中的个体DNA表示种群中的个体进行交叉变异产生后代根据后代中每个个体适应度进行自然选
2022-03-23 09:15:58
13321
5
原创 ValueError: threshold must be numeric and non-NAN, try sys.maxsize for untruncated representation
np.set_printoptions(threshold=np.nan)Python3 不支持 改为import sysnp.set_printoptions(threshold=sys.maxsize)
2022-03-10 17:12:22
181
原创 tf.image.non_max_suppression()
在吴恩达老师深度学习yolo算法实现自动驾驶的编程题中出现了这个函数，这个函数的功能是在检测算法中我们的一个目标被检测了多次，如何排除掉多余的边界框。比如下面的图，来自于编程题中的图片，下面的这个车被多次检测到，存在多个边界框，保留概率最大的那个，去除掉与这个概率最大的边界框的IoU大于一个阙值的其余边界框。这个过程就成为非最大值抑制=NMS函数原型：tf.image.non_max_suppression( boxes, scores, max_output_size, .
2022-03-08 18:03:04
553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人