知识图谱
文章平均质量分 78
一休Q_Q
大模型、机器学习、知识图谱、深度学习、自然语言处理
展开
-
指代消解类方法梳理
MLM:带遮罩的语言模型NSP:单句预测,任务包括两个输入序列SBO:分词边界目标。原创 2024-05-06 15:47:00 · 925 阅读 · 0 评论 -
corefBERT论文阅读
corefBERT语言表示模型,可以更好的捕获和表示共引用信息。corefBERT引入一种新的预训练任务MRP(mention refenrece prediction),MRP利用重复出现的提及获得丰富的共指关系。MRP使用掩码方法遮盖一个或者多个提及,模型预测被遮盖住的整个提及。根据上图,词的损失由MRP提及参考预测和MLM遮盖语言建模损失两部分构成。原创 2024-05-06 13:38:18 · 850 阅读 · 1 评论 -
指代消解原理
指代,在下文采用简称或者代称来代替上文已经出现的某一词语,语言学中把这种现象叫做指代现象。指代,是语言学中的一种语言现象,使用指代词来代替文本中已经出现的某个语言单元的表达方式。将代表同一实体的不同表述划分到一个等价集合的过程称为指代消解。指代消解在信息抽取、智能问答等任务中,具有十分重要的作用。原创 2024-04-30 18:07:23 · 605 阅读 · 0 评论 -
GPlink进行关系抽取流程梳理
1)读取输入的文本内容,对其进行tokenizer计算,产出计算特征;2)对语料进行shuffle3)计算label4)计算schema5)定义网络定义GlobalPointer,创建实体网络、关系头网络、关系尾网络;6)稀疏交叉熵计算损失值使用BertAdam进行优化。原创 2024-02-20 11:32:08 · 483 阅读 · 0 评论 -
自然语言表示简史(BERT/ELMO/Word2vec/LDA/Bow/Ohehot,词向量、句向量、优缺点、应用与解决的问题)
本文链接:https://blog.csdn.net/rensihui/article/details/103284986收起一、自然语言表征与计算机表示自然语言是指一种人类社会中自然地随文化演化的语言,聪明的人类经过万年的积累,并通过后天良久的学习才能理解语言的魅力和含义,机械的计算机当然不能如此容易地表达出来。要了解自然语言的计算机表示,我们首先从发展、工业落地更加成熟的图像领域说起,图像使用非负数的矩阵表示像素点,是低层次的,连续的数据和特征。图像的任务,如分类...转载 2021-05-15 10:31:45 · 921 阅读 · 0 评论 -
推荐系统学习总结
推荐系统,用户行为数据,特征构建原创 2017-04-01 17:40:33 · 2662 阅读 · 1 评论