- 博客(10)
- 收藏
- 关注
RSS订阅原创 论文阅读——Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
文章链接：https://www.aclweb.org/anthology/2020.acl-main.740.pdf背景：预训练在正式开始阅读论文之前，我们必须要理解nlp中语言模型的“预训练(pretraining)”。我们知道，文本是不能直接输入神经网络的，因此需要找到关于文本的合理的数学表示方法，能将文本映射为向量，这些向量应该要包含文本的语法和语义信息，然后再将这些向量输入到下游任务的神经网络中进行训练。因此，从2018年开始（这个时间点是论文里说的...），nlp的模型训练.
2020-10-13 20:21:30
3516
1
原创 论文阅读——Mockingjay: unsupervised speech representation learning
《Mockingjay: Unsupervised Speech Representation Learning with Deep Bidirectional Transformer Encoders》原文地址：https://arxiv.org/abs/1910.12638v2摘要文章提出了一种新的语音表示学习方法——Mockingjay。该方法使用双向的Transformer Encoder在大规模无标签数据集上预训练，它是根据过去（past）和未来（future）的帧来共同预测当前的帧。
2020-08-10 15:26:21
1060
原创 bert源码学习（一）——tokenization.py&&WordPiece
bert谷歌官方源码地址：https://github.com/google-research/bert这篇博客主要讲关于tokenization.py文件的源码阅读1. bert—tokenization.py官方文档首先来看一下bert上tokenization.py的官方文档。对于句子级（或句子对）任务，tokenization.py的使用非常简单，run_classifier.py和extract_features.py中有使用它的例子。句子级任务的tokenizatio..
2020-07-11 00:30:22
2955
原创 SVM支持向量机 学习笔记
问题训练样本集。分类学习的基本思想是在训练集D所在的样本空间找到一个划分超平面，将不同类别的样本划分开。在样本空间中，划分超平面可以通过如下线性方程来描述： (1)原因：在划分超平面线性方程中，为法向量，决定了超平面的方向，b为位移项，决定了超平面与原点之间的距离。显然，一个划分超平面可以通过法向量w和位移项b确定，可以记作(w, b)。但是能将训练样本分开的超平面...
2020-05-22 21:06:13
773
原创 论文阅读(二)：LSTD: A Low-Shot Transfer Detector for Object Detection
论文链接：https://arxiv.org/abs/1803.01529有问题的地方请指出~摘要近期，基于大规模数据集，目标检测由了飞速的发展。但是完整标记的数据集并非易得，因此，文章提出了一种新的方法：low-shot transfer detector (LSTD)，能够利用源域中充足的知识来构建只有少量训练样本的目标域上的有效检测器。文中的主要贡献有：1. 提出了灵活的LS...
2020-01-16 20:28:26
2410
原创 论文学习: Visualizing and Understanding Convolutional Networks
这几天看了这篇论文，学习记录一下。有问题的地方请指正~论文作者：Matthew D. Zeiler, Rob Fergus （美国纽约大学）论文会议：ECCV2014论文链接：https://arxiv.org/pdf/1311.2901v3.pdf摘要： 论文的背景是在2012年AlexNet (Krizhevsky) 在ImageNet竞赛上展现了突出的图像分类...
2019-12-11 16:45:11
373
原创 C# C++ 使用命名管道进行进程通信
实现的功能：C#和C++的应用程序运行时，这两个进程间可以进行进程通信，互相发送和接收消息。之前看了很多网上的代码写进程通信，大多数都是讲C#——C#或C++——C++这种相同类型的应用程序间的通信，很少有C#->C++或C++->C#这种不同类型的应用程序间的通信。但仔细想想，系统中的进程通过创建、连接管道(Pipe)完成进程通信，那么这个创建、连接的过程，张三有张三的创建方法，...
2019-01-06 15:01:13
2278
10
原创 GetModuleFileNameA函数 —— Microsoft文档翻译和使用示例
GetModuleFileNameA function原文档链接：https://docs.microsoft.com/zh-cn/windows/desktop/api/libloaderapi/nf-libloaderapi-getmodulefilenamea 获取包含一个特定模块的文件的全路径，这个模块必须是由当前运行的进程的生成。C++函数原型DWORD GetModul...
2018-12-23 16:03:08
4731
原创 glTexCoord2f
glTexCoord2f为纹理载入函数原型：glTexCoord2f(GLfloat s,GLfloat t);s代表x坐标，t代表y坐标;s∈[0.0,1.0],t∈[0.0,1.0]；用法：通常配合glVertex3fv使用例：
2017-12-24 23:09:54
3173
原创 可编程串口接口芯片8251A
在USB设备还没有出现之前，如果微型计算机与外部设备之间采用串行方式通信，则需要通过串行接口连接微型计算机与外部设备。完成数据串/并转换。8251A就是一种常用的串行接口芯片。Intel8251是一种可编程的通用同步/异步接收发送器。8251A的内部结构包括发送器、接收器、数据总线缓冲器、读/写控制逻辑、Modem控制。发送器将来自CPU的并行数据变换成串行数据，通过TxD引脚向外
2017-12-17 22:15:20
4442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人