- 博客(19)
- 收藏
- 关注
RSS订阅原创 【NLP竞赛方案分享】2022全球人工智能技术创新大赛实体识别赛道第7名方案分享
首先感谢各路大佬的无私分享。初赛阶段，在baseline（0.806+）基础上，根据大佬们的分享，进行修改并实验，成功进入复赛（0.8144+，36名）。复赛初期，花费了较多精力在模型尝试、调参等，但线上提分效果不明显。...
2022-07-14 16:13:20
912
1
原创 GRU和LSTM
GRU和LSTMLSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面GRU门控循环单元他能够让你可以在序列中学习非常深的连接GRU相当于LSTM的简化版基本原理引入两个信息控制门Γu=σ(ωu[c⟨t−1⟩,
2022-04-05 11:40:55
4581
原创 softmax函数
softmax函数softmax函数如下f(x)i=exi∑j=1nexj,j=1,2,…,nf(x)_{i}=\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}}, j=1,2, \ldots, nf(x)i=∑j=1nexjexi,j=1,2,…,nsoftmax上溢出(overflow)和下溢出(underflow)问题c 极其大，导致分子计算ece^cec时上溢出。c 为负数，且 |c|很大，此时分母是一个极小的正数，有可能四舍五入为0，导
2022-04-05 11:38:54
677
原创 空洞卷积Dilated/Atrous Convolution
空洞卷积Dilated/Atrous Convolution卷积还没学好,又来一个空洞卷积,慢慢积累吧 o(╥﹏╥)o空洞卷积广泛应用在语义分割与目标检测等任务中为什么需要空洞卷积?以图像分割领域为例,图像输入到CNN中,传统做法就是做卷积再pooling,降低图像尺寸的同时,增大感受野,但是这种方法会导致分辨率下降,会造成一些信息损失什么是空洞卷积?就是在普通的卷机基础上,卷积核中间填充0 ,且有两种方法,第一,卷积核填充0,第二 ,输入等间距采样上面两个图都是第二种方法,第二个
2022-04-05 11:36:58
2235
原创 pytorch几种乘法的区别
pytorch几种乘法的区别torch.mul()是矩阵的点乘，即对应的位相乘，要求shape一样, 返回的还是个矩阵torch.mm()是矩阵正常的矩阵相乘，（a, b）* ( b, c ) = ( a, c )torch.dot()类似于mul()，它是向量(即只能是一维的张量)的对应位相乘再求和，返回一个tensor数值torch.mv()是矩阵和向量相乘，类似于torch.mm()np.dot(x,y)如果x,y都是一维张量,那么np.dot(x,y)是∑i=0mxiyi\sum_{i=
2022-04-05 11:35:08
1905
1
原创 [论文笔记]2021-ACL-Template-Based Named Entity Recognition Using BART
2021-ACL-Template-Based Named Entity Recognition Using BART文章目录2021-ACL-Template-Based Named Entity Recognition Using BART0 写在前面MotivationcontributionMethod模型结构:过程:迁移学习实验探究不同模板的影响CoNNL03结果标准NER设置探究方法在标准NER设置的表现探究模板之间是否有互补性领域内少样本NER跨领域少样本NERConclusions0
2022-04-05 11:30:56
2914
2
原创 [论文笔记]ACL-2021-Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data
Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data作者提出一个新的方法,用于解决强标注数据少,弱标注数据多的NER问题动机 实际工程中,既有少量的强标注数据,又有大量的弱标注数据,直接组合或者加权组合这两种数据来训练NER模型,由于弱标签广泛的噪声,不一定能改善性能,甚至会影响模型性能 作者提出一个新的多阶段计算框架NEEDLE,主要包括①弱标签补全、②噪音感知损失函数、③强标签
2022-04-04 18:01:09
555
原创 似然函数小结
损失函数小结总是被论文中各种各样奇怪的损失函数折磨,干脆就抽半天专门看看这东西似然函数似然函数是一种关于模型中参数的函数。“似然性likehood”和概率词义相近，但统计学上是完全不同的含义：概率用于在已知参数的情况下，预测接下来的观测结果似然性用于根据一些观测结果，估计给定模型的参数可能值似然函数的本质就是衡量在某个参数下，整体的估计和真实的情况一样的概率，越大代表越相近。负对数似然先从熟悉的两点分布说起，对应二分类问题，其分布律为:P(X=x∣p)=px(1−p)1−x={
2022-04-01 19:31:46
876
原创 [论文笔记]ACL-2021-Improving Named Entity Recognition by External Context Retrieving and Cooperative
[论文笔记]ACL-2021-Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning作者利用外部上下文检索和合作学习改进命名实体识别 命名实体识别（NER）的最新进展表明,利用文档级的文本信息可以提升实体识别效果，但在很多应用场景下并没有可用文档的信息。 针对此问题，作者提出利用搜索引擎检索和选择一组语义相关的文本，以原始句子作为查询，来查找句子的外部上下文，接着使用R
2022-03-31 17:47:41
2199
原创 [论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task
#[论文学习]P-Tuning V2P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and TasksP-Tuning v2一种在不同规模和任务中都可与微调相媲美的Prompt-Tuning方法,但并不是一个全新的方法，将文本生成的Prefix-Tuning优化并适应到NLU任务中,成为一个跨规模和NLU任务的动机模型通用性:以前关于Prompt-Tuning的工作(或者说
2022-03-30 22:29:25
1678
原创 [论文笔记]AAAI-2021-Continual Learning for Named Entity Recognition
读论文 2021-AAAI-Continual Learning for Named Entity Recognition文章目录读论文 2021-AAAI-Continual Learning for Named Entity Recognition0 写在前面IntroductionMotivation思路contributionMethodAddNER模型结构:过程:QA疑问ExtendNER模型结构:过程疑问Experimental Evaluation数据集Experimental setup
2022-03-10 19:16:24
791
原创 pycharm配置远程docker容器作为开发环境
服务器端操作# 修改密码passwd# 安装ssh服务端和客户端apt-get install openssh-serverapt-get install openssh-client# 修改ssh配置文件vim /etc/ssh/sshd_config# 启动sshd /etc/init.d/ssh restartsshd_config# PermitRootLogin prohibit-password # 默认打开 禁止root用户使用密码登陆，需要将其注释RSAA
2021-10-26 22:00:20
159
原创 ubuntu更换阿里apt镜像源
阿里云镜像官网： sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak # 备份老镜像sudo vim /etc/apt/sources.list # 编辑镜像文件apt-get update #更新镜像源apt install vim # 安装vimapt-get upgrade # 更新现在软件阿里源deb http://mirrors.aliyun.com/ubuntu/ bionic main restrict
2021-10-26 21:43:31
257
原创 pip3 install nlp : Memory Error
# 禁用缓存 + 换源 pip3 install --no-cache-dir hanlp -i https://pypi.mirrors.ustc.edu.cn/simple/
2021-10-26 11:24:00
105
原创 python3.8 导致 ImportError: cannot import name ‘clock‘ from ‘time‘ (unknown location)
# 原因是3.8已经放弃time的clock。解决方案：找到对应源文件，该里面的内容将time中的clock用process_time来替代from time import clock as timer # 改为from time import process_time as timer#### 方法二(没奏效)pip install passlib==1.7.2...
2021-10-26 11:21:10
3106
1
原创 隐马尔可夫模型
隐马尔可夫模型马尔科夫链的核心是:在给定当前知识或信息的情况下,过去对于预测将来是无关的**,未来仅与当前有关,而与历史无关.**在观察一个系统变化的时候,他的下一个状态如何的概率只需要观察和统计当前状态即可得出HMM: 通过统计的办法,可以去观察和认知一个事件序列上邻近事件发生的概率转换问题$ P(x_2|…,x_{t-2},x_{t-1},x_t) = P(x_{t+1}|x_t) $你知道这个地区的总的天气趋势,并且平时知道你朋友会做的事情, ----> 也就是说这个隐马尔可夫
2021-10-26 11:18:43
201
原创 AOP编程—JDK动态代理
AOP编程—JDK动态代理maven配置 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-aop</artifactId> <version>4.3.25.RELEASE</version...
2019-12-09 17:01:02
83
原创 Hadoop Shuffle学习
ShuffleIn many ways,the shuffle is the heart of MapReduce and is where the ‘magic’ happensShuffle横跨Map、Reduce两个阶段Map阶段进入Memory Buffer。每个Map都对应一个Memory Buffer ，每个map处理以后的结果都会进入环形缓存区。Parti...
2019-11-19 21:56:56
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人