- 博客(33)
- 收藏
- 关注
RSS订阅
原创 深度学习论文汇总
“读万卷书，行万里路”，深度学习领域每时每刻都在萌生新的灵感和想法。要成为这方面的大牛，我想理论知识、代码功底都得多多锻炼。我们不仅仅要对某一个方向深入了解，更要对CV这个领域有一个全面的认识。所以，读paper肯定是不能少的啦，从ImageNet比赛，到目标检测、图像分割，都有许多许多优秀的论文。这篇博客整理出一些优秀深度学习论文，也是对自己学习过程的一些记录吧，不断地学习state-of-...
2018-12-24 13:43:09
3565
原创 NLP任务增强：通过引入外部知识库来提供额外信息
文章目录前言当推荐系统遇上知识图谱模型结构引入知识方法当文本匹配遇上知识图谱模型结构引入知识方法当预训练模型遇上知识图谱模型结构引入知识方法总结前言 NLP任务中，常见的做法是根据当前输入进行建模，进而设计出我们的模型，通常用到的信息只有当前局部的信息。这和人类最大的区别就是我们在理解语言的时候，我们会用到我们之前学习到的知识，比如说到“自然语言处理”，我们就可以联想到“文本匹配”、“阅读理解”、“BERT”等等，而我们会利用这些外部知识来加强自己的理解，如果没有用额外的知识，比如接触到我们一个不熟悉
2020-07-05 20:55:29
3703
原创 BERT知识点总结
文章目录为什么NLP网络中经常使用Adam优化器以及存在的问题NLP语言模型的特点Adam优化器的特点问题解决办法BERT的基本原理BERT为什么要取消NSP任务为什么BERT比ELMo效果好？ELMo和BERT的区别是什么？为什么BERT比ELMo效果好ELMo和BERT的区别是什么BERT有什么局限性BERT输入和输出分别是什么？BERT模型为什么要用Mask？如何做Mask？Mask和CBOW有什么异同点BERT模型为什么要用mask相对于CBOW有什么异同点针对中文BERT有什么能改进的地方atte
2020-07-04 20:24:16
2962
原创 Sampled Softmax训练方法数学原理思考以及代码实现
文章目录前言前言基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）文本匹配开山之作-DSSM论文笔记及源码阅读（类似于sampled softmax训练方式思考）前面两篇关于文本匹配的博客中，都用到了Sampled-softmax训练方法来加速训练，Sampled-softmax简单点来说，就是通过采样，来减少我们训练计算loss时输出层的运算量。从第一篇博客中的不知其然，到后面看到DSSM代码中Sampled softamax的知其然，这
2020-05-26 21:49:48
1279
原创 文本匹配开山之作-DSSM论文笔记及源码阅读（类似于sampled softmax训练方式思考）
文章目录前言DSSM框架简要介绍模型结构输入Encoder层相似度Score计算训练方式解读训练数据训练目标训练方式总结DSSM源码阅读训练数据中输入有负样本的情况输入数据合并正负样本与计算余弦相似度softmax操作与计算交叉熵损失使用一个batch中其他Doc构造负样本输入数据构造负样本并计算余弦相似度softmax操作与计算交叉熵损失总结前言基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）在前面一篇文章中，我总结了Representa
2020-05-15 19:22:57
1817
原创 基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）
文章目录总结文本匹配的两种做法Representation-Based类模型最近系统性的看了一些有关于信息检索、文本匹配方向的论文，先贴下三篇主角论文：(ColBERT) Khattab, O., & Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. ArXiv, abs/2004.12832. [PDF](P
2020-05-10 22:06:04
3131
原创 论文笔记与源码阅读：《Cognitive Graph for Multi-Hop Reading Comprehension at Scale》
目录总结论文笔记IntroductionCognitve Graph QA Framework输入数据的格式System 1系统一输入系统一输出论文链接如下Cognitive Graph for Multi-Hop Reading Comprehension at Scale论文链接总结 传统的MRC一般分为四个任务，完形填空（Cloze Test）、选择题（Multiple Ch...
2020-05-01 18:54:48
1823
2
原创 疫情下的春招实习历程
从2.27投出自己第一份简历开始到现在已经过去了两个多月了，春招实习的战线差不多也已经结束了，回想一下，受到疫情影响，莫名其妙就开始了我的春招实习，这段时间有笑也有泪，有失败也有成功，好在我越战越勇,就像尼采说的那样“任何不能杀死你的,都会使你更强大”，最后也算是有所收获。这是我人生中一段重要的经历，从最初的NLP小白，到现在能够靠自己努力斩获网易、美团、字节跳动、阿里的offer，每一次面试...
2020-05-01 16:16:19
1005
1
原创 C++知识点汇总
参考文献 https://github.com/huihut/interview目录文章目录目录面向对象封装继承多态重载、重写、重定义面向对象面向对象三大特征 —— 封装、继承、多态封装把客观事物封装成抽象的类，并且类可以把自己的数据和方法只让可信的类或者对象操作，对不可信的进行信息隐藏。关键字：public, protected, private。不写默认为 private。p...
2020-03-14 22:38:54
477
原创 树的计算问题汇总
文章目录求完全二叉树叶子节点数二叉树1、二叉树定义2、二叉树性质满二叉树、完全二叉树和二叉查找树1、满二叉树2、完全二叉树3、二叉树查找树中序遍历和先序遍历一样的二叉树（中序遍历和后序遍历一样的二叉树）求完全二叉树叶子节点数二叉树1、二叉树定义二叉树是每个结点最多有两个子树的树结构。它有五种基本形态：二叉树可以是空集；根可以有空的左子树或右子树；或者左、右子树皆为空。2、二叉树性质...
2020-03-14 22:35:51
756
原创 算法工程师笔试面试问题汇总
本文档记录刷题过程中做错的一些题目,并将其分类，以便于以后复习。文章目录机器学习基础知识深度学习基础知识编程算法基础（时间复杂度计算等）操作系统与数据库NLPCV机器学习基础知识增加以下哪些超参数可能导致随机森林模型过拟合数据？ 1. 决策树的数量； 2. 决策树的深度； 3. 学习率。 答案: 2在线性回归中使用正则项，你发现解的不少co...
2020-03-14 22:31:17
5754
2
原创 MXNet学习笔记：HybridBlock类hybrid_forwar()函数解析
MXNet中，gluon.Block类和gluon.HybridBlock类，和Pytorch中的nn.Module类一样，我们通过继承Block类和HybridBlock类可以很灵活的搭建我们自己的网络模型，这里总结一下HybridBlock类使用过程中的一些注意点。HybridBlock类和Block类的区别 HybridBlock类继承至Block类，所以HybridBlock类有...
2019-01-06 19:35:17
4087
8
原创 MXNet使用技巧：单独设置网络中每层的学习率
迁移学习 （Finetune） 中我们经常需要固定pretrained层的学习率，或者把其学习率设置比后面的网络小，这就需要我们对不同的层设置不同的学习率，这里总结一下实现设置每层学习率的方法。使用net.collect_params(‘re’).setattr(‘lr_mult’,ratio)方法 net.collect_params()将返回一个ParamterDict类型的变量，其中包...
2019-01-05 00:35:22
2106
原创 python常用库总结：argparse库
写深度学习脚本的时候需要设置各种参数，你还在手动在代码里修改？那你就out了，赶紧来学学argparse库的使用吧！ python中argparse库是一个命令行参数的解析工具，利用这个库可以在命令行运行脚本时，设置参数，从而灵活的设置脚本中需要的参数。下面总结一下argparse库的使用方法。创建parse对象 argparse库为python自带的库，使用时直接import ar...
2018-12-25 23:15:39
1518
原创 Faster-RCNN论文细节原理解读+代码实现gluoncv(MXNet)
Faster-RCNN开创了基于锚框(anchors)的目标检测框架，并且提出了RPN(Region proposal network)，来生成RoI，用来取代之前的selective search方法。Faster-RCNN无论是训练/测试速度，还是物体检测的精度都超过了Fast-RCNN，并且实现了end-to-end训练。 从RCNN到Fast-RCNN再到Faster-RCNN，后...
2018-12-14 19:12:25
3790
8
原创 C++ Traits简介（OpenCV中DataType类分析）
如果你能看完这篇博客，并且能初步了解C++中Trait编程技巧的用法，那么恭喜你！你对于C++的理解已经比别人更深一层次了~O(∩_∩)O。不过Traits技巧我也只是略懂皮毛，这篇博客主要也是说说我的浅显理解，如有错误，敬请谅解 ~文章目录Traits简介一个简单的例子OpenCV中的DataType类总结Traits简介 初次接触到 Traits 是在学习OpenCV的过程中，Op...
2018-12-05 20:50:50
2346
2
原创 LeetCode 第四题 Median of Two Sorted Arrays（计算两个有序数组的中位数）
这题要求的时间复杂度为O(log(m+n))O(log(m+n))O(log(m+n))，这一点感觉挺难想的，我打算是用递归将一个数组分割然后插入到另一个数组中，不过调了很久都没过，题解中的解法很巧妙，而且可以用在找两个有序数组中第kthk_{th}kth元素。 下面看一下中位数的作用：将一个集合分成连个长度相等的子集合，其中一个子集合中的元素全部大于另一个子集合中的元素 随...
2018-12-03 22:26:18
272
原创 LeetCode 第5题 Longest Palindromic Substring 最长回文子串
这道题实在是很经典了，解法也很多，我只写出了暴力解法-_-||，功力不够啊，把这些解法都学会总结一下，看看是怎么一步一步优化过来的。题目描述 给定一个子串，找出其中最长的回文子串，注意子串一定要是连续的。题目解法暴力解法 我的暴力解法思路很简单，从大到小枚举可能的长度(len,1)(len,1)(len,1)，然后对每个长度枚举起点，然后判断枚举是否为回文串，如果是则终止枚举然后...
2018-12-02 23:14:48
258
原创 MXNet中目标检测API使用总结：MultiBoxDetection、MultiBoxPrior、MultiBoxTarget
MXNet在目标检测提供了许多API供用户调用，灵活使用这些函数能大大降低编程难度，其中跟锚框有关的三个函数MultiBoxDetection、MultiBoxPrior、MultiBoxTarget，我也探索了一段时间，下面总结一下这三个函数的用法吧，也方便自己查阅常用函数MultiBoxPriorMultiBoxTargetMultiBoxDetectionMultiBoxPrior...
2018-12-01 22:56:53
3179
原创 物体检测Object Detection学习笔记（MXNet）（三）
今天总结一下学习的SSD（single shot detector）单发多框物体检测框架，总的来说物体检测处理流程和图像分类的总体流程差不多，只不过多了很多细节。 总结一下，实现一个网络的基本流程：首先需要定义整体网络中小的功能块，比如说ResNet中的残差小块，GoogLeNet中的inception等，一些可以抽象出来的功能块。搞清楚每一层的输出形状，以及要进行的处理。比如说SS...
2018-11-28 22:24:18
722
原创 物体检测Object Detection学习笔记（MXNet）（二）
多尺度物体目标检测锚框生成过多的问题尺度如何在MXNet中生成多尺度的锚框总结锚框生成过多的问题 上一节学习到，我们是基于生成的锚框来预测物体类别和偏移量，而且我们对于一张原始图片，对于每个像素都会生成多个锚框。 问题：我们生成了大量的锚框，而在其中有大量的重复区域，造成了运算量过于复杂。那么如何减少我们的计算量呢？ 其实很简单，我们只需要对原始图像均匀采样一小部分像素，并以采样的像...
2018-11-27 21:03:44
800
原创 LeetCode 第2题 Add Two Numbers
坚持刷LeetCode，有时间每日一题，能学到很多数据结构的内容~题目描述 给定两个非空链表，倒序存储着两个数，链表中的每个元素为一个单独数字，假设没有前导零。求这两个数的和，并且以倒序存储的链表形式返回。Input: (2 -> 4 -> 3) + (5 -> 6 -> 4)Output: 7 -> 0 -> 8Explanation: 342 +...
2018-11-26 21:26:51
183
原创 物体检测Object Detection学习笔记（MXNet）（一）
物体检测比图像分类的难度大得多，过程也复杂了许多。所以希望自己能将自己的学习过程记录下来，总结过程中也许会有不一样的体会。边界框 目标检测中，通常不止需要我们识别出物体的类别，还需要我们检测出物体的具体位置,所以我们常用边界框来描述物体的具体位置，具体来说通常情况下，我们用物体的左上角 x,yx,yx,y 坐标和右上角 x,yx,yx,y 来标记一个物体的位置，即 (xl,yl,xr,yr)...
2018-11-25 23:35:31
2707
2
原创 UVa1619 感觉很好
UVa1619 感觉很好 解题报告题目链接 这题使用单调栈，可以在O(n)O(n)O(n)时间内解决，单调栈还是不熟练，总结一下希望能提高吧。题目分析 题目的意思很简单，实际就是给定一个数组 A，在其中找出一个子序列A[i]...A[j]A[i]...A[j]A[i]...A[j]，使其满足sum(A[i]+A[i+1]+...+A[j])∗min(A[i],A[i−1],...,A[...
2018-11-18 20:45:17
449
原创 UVa11536 Smallest Sub-Array
UVa11536 Smallest Sub-Array解题报告题目链接 又是一个优化枚举次数的题目，这次一定要记录下来，学会这种解题思路。题目分析 题目的意思是，需要在一个数组中，找到包含[1,K][1,K][1,K]中所有整数的最短长度的子数组。 当时我的思路是通过枚举起点，然后通过二分法来找到终点。然后超时了。。。。然后发现是我的枚举对象搞错了，以后解题要首先明确枚举对象是什么...
2018-11-17 21:17:04
339
原创 UVa1618 弱键
UVa1618解题报告题目链接这题目又是用到二分法，感觉自己对二分用的还是不很灵活，总结一下思路，希望自己能有点突破吧~思路分析 根据题目意思，给定一个数组判断其中是否含有四个满足如下条件的元素：Np,Nq,Nr,NsN_p,N_q,N_r,N_s Np,Nq,Nr,Ns满足条件1<=p<q<r<s<=k1&...
2018-11-17 20:53:39
508
原创 论文笔记 Deep Learning for Generic Object Detection: A Survey （一）
本文总结了近十多年来物体检测（object detection）方面的进展，对每个里程碑式的成果都做了介绍，自己在读过程中也了解了很多，希望能把自己的体会和学习过程记录下来吧。目录总体介绍问题描述难点&挑战过去20年来的发展物体检测框架Region Based（Two Stage Framework）RCNNSPPNetFast-RCNNFaster-RCNN总体介绍问题描述 ...
2018-11-16 19:44:55
998
原创 AdaDelta算法
记录一下自己的学习过程~也能让自己的印象更深吧AdaDelta算法主要是为了解决AdaGrad算法中存在的缺陷，下面先介绍一下AdaGrad算法优点和以及存在的问题：AdaGrad的迭代公式如下所示：Δxt=η∑i=1tgi2∗gt\Delta{x_{t}}=\frac{\eta}{\sqrt{\sum_{i=1}^{t}{g_i^2}}}*g_tΔxt=∑i=1tgi2η∗gt...
2018-11-11 17:10:37
26128
8
原创 JSP实现网页的自动登录(session+cookie)实现
1、session的作用 用户用浏览器访问web服务器时，会为每个用户创建一个session(会话)，session在用户关闭浏览器之前都是有效的，所以我们可以在session中保存用户的一些信息，以供使用。这里我们用session保存用户的账号名称，以表示用户已经登录，可以直接访问后台页面。2、cookie的作用 cookie是客户端保存的一些少量数据，每次用户通过浏览器访问web服务...
2018-11-05 18:39:37
11032
原创 本地仓库git push命令提交到github远程仓库时，出现 "更新被拒绝，因为远程仓库包含您本地尚不存在的提交。"解决方案
问题说明 出现这种问题是由于本地仓库与远程仓库存在冲突导致的，一般是由于先有的本地仓库，然后创建远程仓库并用 git remote add 命令进行关联。此时，远程仓库存在 README.md和.gitignore文件，而本地仓库不存在，此时使用git push提交命令则会报错，错误如下所示： ! [rejected] master -> master (fetch fi...
2018-11-04 22:30:06
5923
原创 Ubuntu系统生成SSH秘钥并添加到github远程仓库(解决git push被拒绝的问题)
本文主要解决，在一台新电脑本地仓库关联github远程仓库后，用 git push 命令出现Permission denied (publickey)的问题出现这种问题是由于你使用ssh的git pull，而github没有添加本台电脑的ssh秘钥,所以访问会被拒绝，解决步骤分为两步：第一步ls ~/.ssh查看目录 ~/.ssh下是否存在文件id_rsa.pub 如果存在就不同再用s...
2018-11-04 22:20:26
836
1
原创 2018百度之星程序设计大赛（资格赛） 子串查询 HDU6345 解题思路
题目链接 HDU 6345 子串查询目录1、题目分析2、细节思路3、算法设计4、程序代码1、题目分析 本题只要看懂了题意其实还是不难的，题目意思是要求出给定区间中最小子串的个数，所以1、找到最小子串 2、求出最小子串的个数 根据题意，其实最小子串就是给定区间中字典序最小的单个字母，明白了这点，那么本题的就是求解，给定区间中字典序最小的单个字母出现的次数2、细节思路 根据题...
2018-11-03 18:45:06
305
原创 2018百度之星程序设计大赛（资格赛） 调查问卷 HDU6344 解题思路
题目链接 HDU 6344 调查问卷目录题目链接 HDU 6344 调查问卷 1、题目分析 2、细节思路 3、算法设计 4、程序代码本人算法竞赛小菜鸡一只，这也是我第一篇博客，希望能和网上的各路大神分享自己的思路，在交流中不断进步！话不多说，我来说说我对这道题目的思路： 1、题目分析 本题主要意思就是存在 n 份问卷，每份问卷存在 m 个问题，求...
2018-09-01 20:02:53
581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人