- 博客(25)
- 收藏
- 关注
RSS订阅原创 如何优雅的将Prompt应用于多任务场景？
近些年来，关于预训练语言模型（PLM）的研究数不胜数，Prompt-Tuning就是其中之一主打小巧轻便，更加普适高效，各种花式的魔改，例如 Prefix-tuning、P-tuning、Prompt-tuning等。如果对Prompt不大了解的朋友们可以移步我的另一篇文章https://mp.weixin.qq.com/s?__biz=MzkxMjExNTgwOQ==&mid=2247484234&idx=1&sn=e44ba444c3f12438671df91dffae03c3&
2022-03-19 19:20:38
3341
原创 AdaPrompt:进一步将下游任务融入到预训练模型
文章目录一、提出动机二、核心idea2.1 将场景信息以及提示信息融入到预训练模型2.2 扩展Verbalizer（就是要映射到label的单词）三、实验结果四、总结hi，各位伙伴们早上好，好久没有更文了，最近也没有发觉特别有意思的论文，今天给大家带来一篇和Prompt相关的论文，欢迎食用~论文地址：https://export.arxiv.org/pdf/2202.04824.pdf一、提出动机1）本文作者认为Prompt的提示信息不能被预训练模型充分挖掘使用2）下游任务的数据不能很好地应用于
2022-02-27 20:54:12
1058
2
原创 浅谈BERT预训练源码
目录一、Mask Launage Model1.1 核心思想1.2 mlm源码1.3 整词掩码二、Next Sentence prediction三、总结hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！”BERT“ 这个词相信大家已经不在陌生了, 发布至今，BERT 已成为 NLP 实验中无处不在的基线。这里稍微扯一下什么是BERT毕竟不是今天的重点，BERT在模型架构方面沿用了Transformer的Encoder端（不知道什么是transformer的小伙伴们可以去阅读论文：)
2021-12-25 15:48:40
1608
原创 引入对抗训练的对比学习
目录文章目录一、Simple Contrastive Representation Adversarial Learning for NLP Tasks1.1 浅谈对抗1.2 监督对比对抗学习1.3 无监督对比对抗学习1.4 实验结果二、PromptBERT2.1 Motivation2.2 核心idea2.3 实验结果三、总结hi！又到每周分享的时刻了，希望看官老爷们能有收获呀！！！！！！！！！！！！！！今天主要给大家介绍两篇有关对比学习的论文。对比学习这样的方法在自然语言中备受关注。它使用成对的
2021-12-12 22:48:17
2019
原创 NLP新宠——Prompt范式
文章目录一、PET1.1 PET建模1.2 如何选取Prompt模板1.3 预测得token如何映射label1.4 实验结果二、KPT2.1 主要idea2.2 标签词的扩展2.3 标签词去噪2.4 语言表达器的使用2.5 实验结果三、P-tuning3.1 核心idea3.2 实验结果四、总结与展望五、参考资料hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！什么是Prompting ？它和Fine-tuning有什么区别？这里引用CMU刘鹏飞博士放在博客里的图：prompt是
2021-11-28 20:00:16
5030
1
原创 “被玩坏了”的Dropout
目录目录一、SimCSE1.2 Supervised SimCSE1.3 实验效果二、ESimCSE2.1 Word Repetion2.2 Momentum Contrast三、R-Drop3.1 整体优化目标3.2 为什么简简单单的dropout如此有效呢？3.3 实验结果四、总结今天主要给大家带来Dropout在NLP最新应用，希望能给大家带来收获！！！！在训练DNN模型时，正则化技术，如： L1/L2 Normalization、Batch/Layer Normalization、Dropo
2021-11-07 15:01:26
137
原创 BERT源码解析（上）
解读源码前先大致了解下什么是Bert吧Bert用了Transform的encoder侧网络，作为一个文本编码器，使用大规模数据进行预训练，预训练使用了两个loss，一个是LM Mask,遮蔽源端的一些字，通过上下文去预测这些字。还有一个是next sentence prediction，判断两个句子是否在文章中互为上下句，然后使用大规模的语料库去预训练。模型结构如下：Bert base 具有12层上图所示的结构，每一层包含 multi-head Attention、Feed Forward两层子结构
2021-09-08 07:57:07
395
原创 Spark RPC解读
Spark消息通信架构在Sparkd定义了通信框架接口，这些接口实现中调用N etty的具体方法（Spark 2.0版本之前使用的是Akka）。RPC组件之间的关系如图所示：在框架中以RpcEndpoint和RpcEndpointRef实现了Actor和ActorRef相关动作（具体可以查阅Akka相关资料），其中RpcEndpointRef是RpcEndpoint的引用，在消息通信中消息发送方持有引用RpcEndpointRef.通信框架中使用了工厂设计模式实现（文末献上鄙人对工厂模式的简单理解）
2021-06-11 14:33:21
217
1
原创 以Wordcount为例分析Spark应用执行流程
文章目录WordCount理论剖析划分stage提交调度阶段提交tasks执行taskWordCountword count是spark 最基本的小程序，主要功能就是统计一个文件里面各个单词出现的个数。代码很简洁，如下。package swjtu.cn.miimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[
2021-06-10 15:06:57
772
原创 spark-listener详解
注：不同spark版本源码可能不一样，本机spark版本是3.0.1SparkListenerSpark中的事件监听机制，本质上其实就是观察者模式的实现，查看源码我们可以经常看到listener这种命名的类或对象，顾名思义，这就是监听器类或对象。下面就以SparkListener为例来解析事件监听是如何设计的。首先我们看SparkListener*/*** ** :: DeveloperApi ::* ** A* *default* *implementation* *for* `*SparkLi
2021-06-10 14:53:05
2277
原创 spark小结
Spark基本组成一 Spark几种常见运行模式1.1 local模式 – 所有程序都运行在一个JVM中，主要用于开发时测试此模式下，1. 这个SparkSubmit进程又当爹、又当妈，既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色2.程序的运行状态可通过 http://:4040 查看，但是这是临时的，程序运行完后，这个UI也就失效了。我们可以启动Spark History Server，这样就可以看到历史
2021-06-02 20:19:01
232
2
原创 SVM超简洁讲解拒绝长篇大论
一、SVM基本形式1、线性可分在二维空间上，两类点被一条直线完全分开叫做线性可分。2、最大间隔超平面从二维扩展到多维空间中时，将 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-irOQyuZ7-1620038837467)(https://www.zhihu.com/equation?tex=D_0)] 就成了一个超平面。为了使这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。两类样本分别分割在该超平面的两侧.
2021-05-03 21:15:40
890
转载 task01
Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍文章编写人：吴晓均、康兵兵github 地址：目录Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍目录一、知识图谱简介1.1 引言1.2 什么是知识图谱呢？1.2.1 什么是图（Graph）呢？1.2.2 什么是 Schema 呢？1.3 知识图谱的价值在哪呢？二、怎么构建知识图谱呢？2.1 知识图谱的数据来源于哪里？2.2 信息抽取的难点在哪里？2.3 构建知识图谱所
2021-01-11 23:16:51
185
原创 白话文讲解Word2vec
文章目录一. One-Hot 编码与词嵌入1.1 One-Hot 编码1.2 词嵌入二. Word2Vec2.1 Skip-Gram三. Glove四. 利用gensim简单使用Word2Vec在进入主题之前我们先了解两个概念：One-Hot编码与词嵌入一. One-Hot 编码与词嵌入1.1 One-Hot 编码one-hot编码说白了就是用0,1两个数字来表示一个单词或者字符。比如我有10000个单词的corpus,然后love这个单词在语料库的顺序为1那么我可以用向量[1,0,0,0,0,…0
2020-12-29 11:14:57
263
原创 为什么mysql索引底层使用的是B+树存储，而不是红黑树吗？
什么是B+树在介绍B+树之前让我们来先了解什么是B-树吧！B-Tree是为了磁盘外存储设备设计的一种平衡查找树。B-Tree结构可以让系统高效的查找数据所在的磁盘。一颗m阶的B-Tree有如下特性：1.每个节点最多有m个子节点。2.除根节点和叶子节点之外，其它每个节点至少有Ceil(m/2)个孩子。3.若根节点不是叶子节点，至少有2个孩子4.所有叶子结点都在同一层，且不包含其他关键字信息每个非终端节点包含n个关键字信息（P0,P1,…Pn, k1,…kn）关键字的个数n满足：ceil(
2020-12-09 15:17:47
862
1
原创 HTTP捋一捋？
1.为什么要了解HTTP？HTTP协议其实本身并不复杂，理解起来也不会花费太多学习成本，但是纯概念式的学习稍显单调。其实对于爬虫，后端工程师来说理解HTTP里面的内容还是至关重要的，比如我要抓取某个网站的数据，那么第一件事就是利用抓包工具来分析请求的头部，判断数据是以什么方式请求（GET ，POST.....），以及数据是静态的还是动态的，然后可能还会遇到某个字段等验证问题这些问题都可以在HTTP的报文头部得到解答。所以如果想要在专业技术道路上走得更坚实，绝对不能绕开学习HTTP协议这一环节。所以
2020-10-08 16:01:17
180
原创 Prim算法伪+代码讲解
1.快速了解Prim算法学过数据结构的看官老爷们都应该知道，普里姆太熟悉了，不就是最小生成树的算法嘛，是的它是一种求最小树的算法。本文通过剖析伪代码的过程来理解这个“easy algorithm”。话不多说下面先描述下算法：运算方法是任取一个点，以这个点为集合开始，然后对所有点与这个点的距离进行更新，找出离这个集合最近的点，然后把这个点放进这个集合（所以每一次运算的时候都要判断一下这个点是否在这个集合里，所有要用到一个vset数组）更新权值，然后再以这个集合继续寻找离这个集合最近的点，直到没有点存在。
2020-10-01 22:27:04
4281
1
原创 支持向量机+sklearn绘制超平面
1.快速了解SVM支持向量机（support vector machines,SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；而且SVM还支持核技巧，能够对非线形的数据进行分类，其实就是将非线形问题变换为线性问题，通过解变换后的线性问题来得到原来非线形问题的解。举个例子来说明支持向量机是来干什么的吧！将实例的特征向量（以二维为例）映射为空间中的一些点，就是如下图的圆心点和‘x’，它们属于不同的两类。那么SVM的目的就是想要画出一条线，以“最好
2020-09-12 16:17:34
2185
1
原创 逻辑回归+Python3实现
文章目录1.什么是逻辑回归2. 逻辑回归的判定边界3.代价函数4.Python3实现逻辑回归5.总结1.什么是逻辑回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型。常用于数据挖掘，疾病自动诊断，经济预测等领域。值得一提的是该算法输出值永远在 0 到 1 之间。下面通过一个例子来了解下什么是逻辑回归。假设现在我们有一个应用场景，根据肿瘤的大小来判断肿瘤是恶性的还是良性的。我们从先从二元分类的问题开始讨论。将因变量（dependent variable）可能属于的两个
2020-09-07 10:14:59
794
原创 决策树+Python3实现ID3
1. 什么是决策树决策树（decision tree）是一种基本的分类与回归方法。决策树的生成算法主要有ID3，C4.5，CART等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。这里通过一个简单的例子说明决策树的构成思路：给出如下的一组数据，一共有十五个样本，每个样本有年龄，有工作，有自己的房子，信贷情况四个属性，最后判断是否给申请人批准贷款。然后利用这一组附带分类结果的样本可以训练出多种多样的决策树，这里为了简化过程
2020-08-31 21:57:56
1675
1
原创 朴素贝叶斯+Python3实现高斯朴素贝叶斯
1. 什么是朴素贝叶斯法朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。先举个例子来了解贝叶斯原理一个袋子里有10个球，其中6个黑球，4个白球；那么随机抓取一个黑球的概率是0.6这种情况下我们是站在上帝的视角，即知道事情的全貌再做判断（有多少个黑球，白球）在
2020-08-25 17:54:42
5160
原创 感知机+Python3的实现（原始形式与对偶形式）
1. 什么是感知机？ 感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误差的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简答而易于实现的优点，分为原始形式和对偶形式，下文会一一给出。感知机预测是通过对训练数据的学习对新输入的实例进行分类。定义1.1（
2020-08-19 00:06:58
1009
原创 K-邻近算法(KNN)详解+Python实现
1.什么是KNN算法？KNN(K-Nearest Neighbor)算法是机器学习算法中最基础，最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值的距离来进行分类。k近邻算法简单，直观：对于一个需要预测的输入向量x，我们只需要在训练数据集中寻找k个与向量x最近的向量的集合，然后把x的类别预测为这k个样本中类别数最多的那一类。1.1基于上述思想给出KNN算法过程输入：训练数据集其中：输出：实例x所属的类y.(1)根据给定的距离度量，在训练集T中找出与x最临近的k个点，.
2020-08-07 14:52:15
5747
1
原创 1 Pandas实例（一）-2012美国大选政治献金实例
1 Pandas实例（一）-2012美国大选政治献金实例1.数据载入和总览首先导入要是用的包#导入需要画图的包import matplotlib.pyplot as plt%matplotlib inline#导入numpys,pandas的包import numpy as npimport pandas as pdfrom pandas import Series,Dat
2020-07-17 18:57:30
1009
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人