XiangJiaoJun_的博客

文章目录前言当推荐系统遇上知识图谱模型结构引入知识方法当文本匹配遇上知识图谱模型结构引入知识方法当预训练模型遇上知识图谱模型结构引入知识方法总结前言  NLP任务中，常见的做法是根据当前输入进行建模，进而设计出我们的模型，通常用到的信息只有当前局部的信息。这和人类最大的区别就是我们在理解语言的时候，我们会用到我们之前学习到的知识，比如说到“自然语言处理”，我们就可以联想到“文本匹配”、“阅读理解”、“BERT”等等，而我们会利用这些外部知识来加强自己的理解，如果没有用额外的知识，比如接触到我们一个不熟悉

文章目录为什么NLP网络中经常使用Adam优化器以及存在的问题NLP语言模型的特点Adam优化器的特点问题解决办法BERT的基本原理BERT为什么要取消NSP任务为什么BERT比ELMo效果好？ELMo和BERT的区别是什么？为什么BERT比ELMo效果好ELMo和BERT的区别是什么BERT有什么局限性BERT输入和输出分别是什么？BERT模型为什么要用Mask？如何做Mask？Mask和CBOW有什么异同点BERT模型为什么要用mask相对于CBOW有什么异同点针对中文BERT有什么能改进的地方atte

文章目录前言前言基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）文本匹配开山之作-DSSM论文笔记及源码阅读（类似于sampled softmax训练方式思考）前面两篇关于文本匹配的博客中，都用到了Sampled-softmax训练方法来加速训练，Sampled-softmax简单点来说，就是通过采样，来减少我们训练计算loss时输出层的运算量。从第一篇博客中的不知其然，到后面看到DSSM代码中Sampled softamax的知其然，这

文章目录前言DSSM框架简要介绍模型结构输入Encoder层相似度Score计算训练方式解读训练数据训练目标训练方式总结DSSM源码阅读训练数据中输入有负样本的情况输入数据合并正负样本与计算余弦相似度softmax操作与计算交叉熵损失使用一个batch中其他Doc构造负样本输入数据构造负样本并计算余弦相似度softmax操作与计算交叉熵损失总结前言基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）在前面一篇文章中，我总结了Representa

文章目录总结文本匹配的两种做法Representation-Based类模型最近系统性的看了一些有关于信息检索、文本匹配方向的论文，先贴下三篇主角论文：(ColBERT) Khattab, O., & Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. ArXiv, abs/2004.12832. [PDF](P

目录总结论文笔记IntroductionCognitve Graph QA Framework输入数据的格式System 1系统一输入系统一输出论文链接如下Cognitive Graph for Multi-Hop Reading Comprehension at Scale论文链接总结  传统的MRC一般分为四个任务，完形填空（Cloze Test）、选择题（Multiple Ch...

  从2.27投出自己第一份简历开始到现在已经过去了两个多月了，春招实习的战线差不多也已经结束了，回想一下，受到疫情影响，莫名其妙就开始了我的春招实习，这段时间有笑也有泪，有失败也有成功，好在我越战越勇,就像尼采说的那样“任何不能杀死你的,都会使你更强大”，最后也算是有所收获。这是我人生中一段重要的经历，从最初的NLP小白，到现在能够靠自己努力斩获网易、美团、字节跳动、阿里的offer，每一次面试...

参考文献 https://github.com/huihut/interview目录文章目录目录面向对象封装继承多态重载、重写、重定义面向对象面向对象三大特征 —— 封装、继承、多态封装把客观事物封装成抽象的类，并且类可以把自己的数据和方法只让可信的类或者对象操作，对不可信的进行信息隐藏。关键字：public, protected, private。不写默认为 private。p...

文章目录求完全二叉树叶子节点数二叉树1、二叉树定义2、二叉树性质满二叉树、完全二叉树和二叉查找树1、满二叉树2、完全二叉树3、二叉树查找树中序遍历和先序遍历一样的二叉树（中序遍历和后序遍历一样的二叉树）求完全二叉树叶子节点数二叉树1、二叉树定义二叉树是每个结点最多有两个子树的树结构。它有五种基本形态：二叉树可以是空集；根可以有空的左子树或右子树；或者左、右子树皆为空。2、二叉树性质...

本文档记录刷题过程中做错的一些题目,并将其分类，以便于以后复习。文章目录机器学习基础知识深度学习基础知识编程算法基础（时间复杂度计算等）操作系统与数据库NLPCV机器学习基础知识增加以下哪些超参数可能导致随机森林模型过拟合数据？ 1. 决策树的数量； 2. 决策树的深度； 3. 学习率。 答案: 2在线性回归中使用正则项，你发现解的不少co...

  MXNet中，gluon.Block类和gluon.HybridBlock类，和Pytorch中的nn.Module类一样，我们通过继承Block类和HybridBlock类可以很灵活的搭建我们自己的网络模型，这里总结一下HybridBlock类使用过程中的一些注意点。HybridBlock类和Block类的区别  HybridBlock类继承至Block类，所以HybridBlock类有...

迁移学习 （Finetune） 中我们经常需要固定pretrained层的学习率，或者把其学习率设置比后面的网络小，这就需要我们对不同的层设置不同的学习率，这里总结一下实现设置每层学习率的方法。使用net.collect_params(‘re’).setattr(‘lr_mult’,ratio)方法  net.collect_params()将返回一个ParamterDict类型的变量，其中包...

  写深度学习脚本的时候需要设置各种参数，你还在手动在代码里修改？那你就out了，赶紧来学学argparse库的使用吧！  python中argparse库是一个命令行参数的解析工具，利用这个库可以在命令行运行脚本时，设置参数，从而灵活的设置脚本中需要的参数。下面总结一下argparse库的使用方法。创建parse对象  argparse库为python自带的库，使用时直接import ar...

  写深度学习脚本的时候需要设置各种参数，你还在手动在代码里修改？那你就out了，赶紧来学学argparse库的使用吧！  python中argparse库是一个命令行参数的解析工具，利用这个库可以在命令行运行脚本时，设置参数，从而灵活的设置脚本中需要的参数。下面总结一下argparse库的使用方法。创建parse对象  argparse库为python自带的库，使用时直接import ar...

“读万卷书，行万里路”，深度学习领域每时每刻都在萌生新的灵感和想法。要成为这方面的大牛，我想理论知识、代码功底都得多多锻炼。我们不仅仅要对某一个方向深入了解，更要对CV这个领域有一个全面的认识。所以，读paper肯定是不能少的啦，从ImageNet比赛，到目标检测、图像分割，都有许多许多优秀的论文。这篇博客整理出一些优秀深度学习论文，也是对自己学习过程的一些记录吧，不断地学习state-of-...

  Faster-RCNN开创了基于锚框(anchors)的目标检测框架，并且提出了RPN(Region proposal network)，来生成RoI，用来取代之前的selective search方法。Faster-RCNN无论是训练/测试速度，还是物体检测的精度都超过了Fast-RCNN，并且实现了end-to-end训练。  从RCNN到Fast-RCNN再到Faster-RCNN，后...

  如果你能看完这篇博客，并且能初步了解C++中Trait编程技巧的用法，那么恭喜你！你对于C++的理解已经比别人更深一层次了~O(∩_∩)O。不过Traits技巧我也只是略懂皮毛，这篇博客主要也是说说我的浅显理解，如有错误，敬请谅解 ~文章目录Traits简介一个简单的例子OpenCV中的DataType类总结Traits简介  初次接触到 Traits 是在学习OpenCV的过程中，Op...

  这题要求的时间复杂度为O(log(m+n))O(log(m+n))O(log(m+n))，这一点感觉挺难想的，我打算是用递归将一个数组分割然后插入到另一个数组中，不过调了很久都没过，题解中的解法很巧妙，而且可以用在找两个有序数组中第kthk_{th}kth​元素。  下面看一下中位数的作用：将一个集合分成连个长度相等的子集合，其中一个子集合中的元素全部大于另一个子集合中的元素  随...

  这道题实在是很经典了，解法也很多，我只写出了暴力解法-_-||，功力不够啊，把这些解法都学会总结一下，看看是怎么一步一步优化过来的。题目描述  给定一个子串，找出其中最长的回文子串，注意子串一定要是连续的。题目解法暴力解法  我的暴力解法思路很简单，从大到小枚举可能的长度(len,1)(len,1)(len,1)，然后对每个长度枚举起点，然后判断枚举是否为回文串，如果是则终止枚举然后...

  MXNet在目标检测提供了许多API供用户调用，灵活使用这些函数能大大降低编程难度，其中跟锚框有关的三个函数MultiBoxDetection、MultiBoxPrior、MultiBoxTarget，我也探索了一段时间，下面总结一下这三个函数的用法吧，也方便自己查阅常用函数MultiBoxPriorMultiBoxTargetMultiBoxDetectionMultiBoxPrior...