- 博客(122)
- 收藏
- 关注
RSS订阅原创 TaskWeaver：代码优先的代理框架
大型语言模型（LLM），例如 GPT [18, 12]、Claude [11]、Palm [10] 和 Llama [19]，在自然语言理解和生成方面表现出了卓越的能力。这些模型已广泛应用于各种应用，包括聊天机器人、虚拟助理和内容生成系统。人机交互有越来越大的潜力来彻底改变人类与机器交互的方式，提供更自然和直观的体验。代理，特别是那些利用大型语言模型（LLM）或其他人工智能技术的代理，被视为一个自主实体，具有规划任务、观察周围环境并相应执行适当操作的能力[20, 22]。
2023-12-15 22:51:27
1523
原创 Text mining and natural language processing in construction 论文阅读
数据挖掘和NLP在建筑行业的应用解读
2023-12-12 22:13:45
380
原创 ElasticSearch权威指南第一章-ElasticSearch集群入门
ElasticSearch权威指南第一章-ElasticSearch集群入门
2022-06-04 20:32:04
259
原创 Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks文献翻译
摘要:在进入神经网络之前，一个token一般会转换成对应的onehot表示，这是词汇表的离散分布。平滑表示是从预训练的掩码语言模型中获得的候选标记的概率，可以看作是对 one-hot 表示的信息更丰富的替代。我们提出了一种有效的数据增强方法，称为文本平滑，通过将句子从其单热表示转换为可控平滑表示。我们在资源匮乏的情况下在不同的基准上评估文本平滑。实验结果表明，文本平滑在很大程度上优于各种主流数据增强方法。此外，文本平滑可以与那些数据增强方法相结合，以获得更好的性能。1.介绍数据增强是一种广泛使用的技术
2022-05-12 15:47:12
720
原创 EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing文献翻译
摘要:预训练模型 (PTM) 的成功重塑了自然语言处理 (NLP) 的发展。然而，对于工业从业者来说，获得高性能模型并在线部署它们并不容易。为了弥补这一差距，EasyNLP 旨在让构建 NLP 应用程序变得容易，它支持一整套 NLP 算法。它还具有用于大规模 PTM 的知识增强预训练、知识蒸馏和小样本学习功能，并为实际应用程序提供模型训练、推理和部署的统一框架。目前，EasyNLP 已为阿里巴巴集团内的十多个业务部门提供支持，并与阿里云上的人工智能平台（PAI）产品无缝集成。我们的 EasyNLP 工具包
2022-05-12 15:25:42
604
原创 Embedding-based Retrieval in Facebook Search 文献翻译
Embedding-based Retrieval in Facebook Search摘要:在 Facebook 等社交网络中进行搜索与经典网络搜索相比面临不同的挑战：除了查询文本之外，考虑搜索者的上下文以提供相关结果也很重要。他们的社交图谱是这一背景不可或缺的一部分，也是 Facebook 搜索的一个独特方面。虽然基于嵌入的检索 (EBR) 已在网络搜索引擎中应用多年，但 Facebook 搜索仍主要基于布尔匹配模型。在本文中，我们讨论了将 EBR 应用于 Facebook 搜索系统的技术。我们介绍
2022-05-12 14:29:11
608
原创 TextBrewer工具使用实战2
https://zhuanlan.zhihu.com/p/261714758导入第三方库包#coding=utf-8import numpy as npimport pandas as pdimport osimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scoreimport torchimpor
2022-05-06 15:02:59
466
原创 深度学习文本分类模型使用TextBrewer实战
"""采用Transformer裁剪后，剪枝后生成的文件夹内是不包含vocab.txt文件的，因此需要把源文件夹内的vocab.txt文件夹复制粘贴过去，防止报错"""# 采用Transformer裁剪后，模型占GPU121->547->1283 M# 采用流水线裁剪后，模型占GPU121->477->1
2022-05-04 11:29:43
778
5
原创 spark的官方例子，集合了JAVA和SCALA双版本
这里是我把JAVA和SCALA双语言的Spark实现源码集成起来，上传到Github上面免得之后换新电脑忘记了。https://github.com/yingdajun/realrealsparkdemo
2022-05-03 21:30:58
1518
原创 深度学习文本分类模型使用TextPruner实战
# 完全不适用剪枝手段，模型占GPU 121->687->1447 M# 采用剪枝手段后，模型占GPU 121->617->1377 M"""采用Transformer裁剪后，剪枝后生成的文件夹内是不包含vocab.txt文件的，因此需要把源文件夹内的vocab.txt文件夹复制粘贴过去，防止报错"""# 采用Transformer裁剪后，模型占GPU121->547->1283 M# 采用流水线裁剪后，模型占GPU121->477->1
2022-05-03 13:20:05
494
原创 使用transformers_2.4.0验证bertoftheus性能
from __future__ import absolute_import, division, print_functionimport argparseimport globimport loggingimport osimport randomimport jsonimport numpy as npimport torchfrom torch.utils.data import (DataLoader, RandomSampler, SequentialSampler,
2022-04-26 20:11:50
267
原创 bert of thesus模型实战，采用transformers直接调用
from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("canwenxu/BERT-of-Theseus-MNLI")model = AutoModel.from_pretrained("canwenxu/BERT-of-Theseus-MNLI")Downloading: 0%| | 0.00/151 [00:00<?, ?B/s]
2022-04-26 20:09:58
575
原创 Adapter-transfomers版本库包使用练习
Aapter-transformers库包尝试使用，感觉这个库包的用于做模型轻量化效果不是很大，降低内存不多，不是很实用。调用第三方库包#coding=utf-8import numpy as npimport pandas as pdimport osimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_s
2022-04-25 16:38:50
1103
原创 Impossible Triangle: What’s Next for Pre-trained Language Models? 论文翻译
Impossible Triangle: What’s Next for Pre-trained Language Models?不可能的三角：预训练语言模型的下一步是什么？机构: 微软认知服务研究小组摘要:大规模预训练语言模型（PLM）的最新发展极大地提高了模型在各种NLP任务中的能力，即在特定任务微调和零次/少次学习后的性能。然而，许多这样的模型都具有惊人的巨大规模，很少有机构能够承担预培训、微调甚至部署的费用，而中等规模的模型通常缺乏强大的通用性少镜头学习能力。在本文中，我们首先从不可能三角
2022-04-19 18:42:31
1055
原创 On the Evaluation of NLP-based Models for Sofware Engineering 论文总结
On the Evaluation of NLP-based Models for Sofware Engineering基于自然语言处理的软件工程模型评价研究摘要基于NLP的模型越来越多地被用于解决SE问题。这些模型要么在SE域中使用，几乎没有变化，要么根据源代码及其独特特性进行了大量定制。其中许多方法被认为优于或补充了现有的解决方案。然而，这里出现了一个重要的问题：这些模型在SE社区中是否得到了公平一致的评估？。为了回答这个问题，我们回顾了研究人员如何评估基于NLP的SE问题模型。研究结果表明，目
2022-04-01 17:23:45
273
原创 LinkBERT: Pretraining Language Models with Document Links 论文总结
LinkBERT: Pretraining Language Models with Document LinksLink BERT：带有文档链接的预训练语言模型源码位置:https://github.com/michiyasunaga/LinkBERT摘要语言模型（LM）预训练可以从文本语料库中学习各种知识，帮助下游任务。然而，现有的方法（如BERT）对单个文档建模，并且不能捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，这是一种LM预训练方法，利用文档之间的链接，例如超链
2022-03-31 16:40:53
2352
原创 Hierarchical Transformer Model for Scientific Named Entity Recognition 论文总结
Hierarchical Transformer Model for Scientific Named Entity Recognition科学命名实体识别的层次变换模型Github 地址:https://github.com/urchade/HNER摘要:命名实体识别是关系抽取、知识图构造等自然语言处理系统的重要组成部分。在这项工作中，我们提出了一种简单有效的命名实体识别方法。我们方法的主要思想是使用一个预先训练好的转换器（如BERT）对输入子词序列进行编码，然后，在子词表示中添加另一层转换器，
2022-03-31 09:29:47
1744
原创 VLP: A Survey on Vision-Language Pre-training 论文总结
VLP: A Survey on Vision-Language Pre-trainingVLP：视觉语言预训练研究综述论文地址:https://arxiv.org/pdf/2202.09061.pdf摘要:在过去几年中，训练前模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单峰领域带入了一个新时代。大量工作表明，它们有利于下游单峰任务，避免从头开始训练新模型。那么，这种预先训练好的模型可以应用于多模式任务吗？研究人员已经探索了这个问题，并取得了重大进展。本文综述了视觉语言预训练（VLP）
2022-03-30 16:03:09
4562
原创 如何学习NLP论文
最近在B站学习这系列视频，视频链接如下：https://www.bilibili.com/video/BV1ME411J7Ch?p=1在此进行总结:2. 收集和组织论文收集引擎:ACL网站https://aclanthology.org/arxiv 网站https://arxiv.org/整理某类方向论文:(1)通过会议按照那一年、什么会议形式去投(2)通过是否preprint按照论文是否已投(3)通过问题按照论文是无监督/有监督、检索式/生成式等方向去实现(5)通过方法按
2022-03-27 21:02:01
524
原创 Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence 论文总结
Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence《通过构建辅助句利用 BERT 进行基于方面的情感分析 》论文源码位置:https://github.com/HSLCY/ABSA-BERT-pair摘要提出了一种通过构造辅助句子，将基于方面的情感分析 (ABSA) 转换成句子对分类问题的方法，提高针对特定方面的细粒度意见极性，使用BERT模型，在SentiHood 和 Sem
2022-03-23 23:33:40
1121
6
原创 在IDEA中启动spark项目的操作
第一步:在pom文件中换成<properties> <scala.version>2.12.12</scala.version> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <encoding>UTF-8</en
2022-02-12 17:05:59
588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人