- 博客(23)
- 收藏
- 关注
RSS订阅原创 【论文精度】An AST Structure Enhanced Decoder for Code Generation
本文提出了一种用于代码生成的新型AST结构增强解码器，在上述两个方面显著扩展了解码器：- 引入了一种AST信息增强注意力机制来充分利用历史actions，历史actions的影响根据树上的语法距离、动作类型和相对位置进一步区分；- 通过多任务学习，联合建模当前动作及其重要的未来动作的预测，并利用后者的隐藏状态进一步改进前者。（利用未来兄弟节点信息，解码器先预测与当前节点最近的兄弟节点，此类信息能很好地补充当前节点对全局结构信息的利用）
2023-03-07 16:07:27
304
原创 【Analyzing and Mitigating Interference in Neural Architecture Search】分析与缓解NAS权重共享方法中的子模型之间的干扰问题
【分析与缓解NAS权重共享方法中的子模型之间的干扰问题】论文定量分析了NAS中权重共享干扰的原因，并开发了MAGIC-T和MAGIC-A两种方法来缓解这种干扰，所提出的方法可以提高超网的秩相关性，并可以搜索得到有效的架构。在多种NLP和ImageNet任务上的实验验证了该方法的有效性。
2023-02-10 16:15:26
279
原创 【论文精度】PLBART: Unified Pre-training for Program Understanding and Generation
本论文介绍了 PLBART，这是一种序列到序列模型，能够执行广泛的程序和语言理解和生成任务。PLBART 通过去噪自动编码在广泛的 Java 和 Python 函数集合以及相关的 NL 文本上进行了预训练。对七种编程语言的英语代码摘要、代码生成和代码翻译的实验表明，PLBART 优于或与最先进的模型相媲美。此外，对判别任务（例如程序修复、克隆检测和漏洞代码检测）的实验证明了 PLBART 在程序理解方面的有效性。
2023-01-04 22:16:00
2124
3
原创 面向神经代码智能（NCI,Neural Code Intelligence）的预训练语言模型综述
随着现代软件的复杂性不断升级，软件工程已经成为一项日益艰巨且容易出错的工作。近年来，神经代码智能(NCI)领域已经成为一种有前途的解决方案，利用深度学习技术的力量来解决源代码的分析任务，目标是提高编程效率，并最大限度地减少软件行业中的人为错误。预训练语言模型已经成为NCI研究的主导力量，在广泛的任务中始终如一地提供最先进的结果，包括代码摘要、生成和翻译。本文对NCI领域进行了全面的调研，包括对预训练技术、任务、数据集和模型架构的全面回顾。
2022-12-30 00:23:44
997
原创 【论文精度】CodeBERT——基于自然语言和编程语言的预训练模型
【论文精度】CodeBERT，一种用于编程语言（PL）和自然语言（NL）的双模态预训练模型CodeBERT，CodeBERT学习了通用表示，支持自然语言代码搜索、代码文档生成等下游NL-PL任务。
2022-12-28 23:51:13
1604
原创 基于opencv的图像操作——图片比较、缩放图片、图片边缘填充、对比度增强、图像二值化等
基于opencv的图像操作，包括图片比较、缩放图片、图片边缘填充、对比度增强、图像二值化等
2022-12-27 13:58:48
1638
原创 subprocess执行命令行获取返回
对于场景：我们通过允许一个代码去执行另外一个代码并获取其返回值，在这种场景下，我们可以通过subprocess来实现，具体实现代码在本文章中有样例，进行适当地修改即可
2022-12-27 13:53:42
3314
原创 预训练语言模型的发展——从原始神经网络语言模型到GPT/BERT
文章从最原始的语言模型开始，介绍Word2Vec/Glove等第一代PLMs方法及其缺点；然后延伸介绍ELMO/GPT/BERT等第二代PLMs方法，集中在学习基于文脉的词向量表示，保留模型本身。
2022-12-27 13:36:43
1017
原创 【论文精度】AutoBERT-Zero （使用NAS搜索预训练语言模型）
论文精度：本文提出了一个新颖的分层搜索空间和一个高效的NAS框架，能够自动从头发现有潜力的PLM主干。搜索得到的自注意力结构和骨干架构可以为NLP社区的模型设计带来新的思路。
2022-12-23 18:31:51
422
原创 预训练语言模型（PLMs）综述
预训练语言模型(PLMs)是在大规模语料库上以自监督方式进行预训练的语言模型。在过去的几年中，这些PLM从根本上改变了自然语言处理社区。传统的自监督预训练任务主要涉及。在对这些PLM进行预训练后，可以对下游任务进行微调。按照惯例，这些微调包括。在下游任务上对PLM进行微调通常会带来非凡的性能提升，这就是plm如此受欢迎的原因。在本教程中，从两个角度提供广泛而全面的介绍:为什么这些PLM有效，以及如何在NLP任务中使用它们。
2022-12-21 16:11:15
5073
原创 【论文精度】生成式预训练模型——BART（Bidirectional and Auto-Regressive Transformers）
BART是一个预训练的seq2seq的去噪自编码（denoising autoencoder）模型，BART以下方式进行训练①用任意的噪声函数(noising function)去破坏文本；②学习一个模型来重建原始文本。它使用一个标准的基于transformer的神经机器翻译架构，可以看作是BERT（双向编码器）、GPT（left-to-right解码器）以及其他预训练方案的推广。
2022-12-17 01:06:19
4286
1
原创 Python相关的问题总结
python代码中的编码问题总结：①编码问题；②模块调用问题(No module named ‘pytdx.hq’)；③中文乱码问题
2022-12-10 14:33:58
408
原创 cpu_内存监控
根据进程名监控其运行过程中的内存占用情况#!/usr/bin/env python# -*- coding: utf-8 -*-# coding:gbkimport os, reimport timeimport stringimport xlrdimport xlwtfrom xlutils.copy import copydef countProcessMemoey(processName): pattern = re.compile(r'([^\s]+)\s+(\d+
2022-03-13 13:54:17
852
原创 调用sklearn模型遇到Unknown label type: continuous 的解决办法
调用sklearn模型遇到Unknown label type: continuous 的解决办法分类问题 sklearn.svm.SVC()分类问题的标签应该设置为int类型，直接在y输入变量的后面加上转换数据类型为int或者string即可： y_train.astype('int')回归问题 sklearn.svm.SVR()回归问题应该使用的是SVR,若使用sklearn.svm.SVC()则会出现上面的问题，因为SVC()处理的是分类问题，标签的类型应该是int或strin
2021-08-19 15:57:59
1417
原创 python 操作mysql数据中fetchall()方式操作多次时返回数据为空
运行下面代码from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:xxx@xxx:3306/xxx')conn=engine.connect()ss='1000324'#result=conn.execute("select max(FDate) from big_V_fund_info where FCode=%s"%(ss))result=conn.execute("select d
2021-05-31 18:44:46
2179
原创 python中json.dumps(dict)中文编码错误
python中json.dumps(dict)中文出现编码错误解析：①python3里面默认编码是unicode②做dump与dumps操作时，会默认将中文转换为unicode，但在做逆向操作load和loads时会转换为中文，但是中间态(例如存储的json文件)的中文编码方式仍然是unicode解决办法：在dump里面添加 ensure_ascii=Falsedata = json.dumps(dict, ensure_ascii=False) ...
2021-05-26 23:43:38
843
原创 python爬虫https出现SSLError错误的解决办法
python爬虫https时出现SSLError错误的解决办法报错：requests.exceptions.SSLError: HTTPSConnectionPool(host=‘appconfig2.1234567.com.cn’, port=443): Max retriesexceeded with url: /config/ComboDataDetail?product=EFund&appVersion=6.4.4&MobileKey=4cf4fb5db48e21cbe5b6b9
2021-05-23 16:13:41
3614
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人