- 博客(26)
- 收藏
- 关注
原创 unhandled cuda error, NCCL version 2.7.8问题解决
设置环境变量来获取更详细的错误信息。框架进行分布式训练时,遇到NCLL相关错误。
2024-06-15 19:16:18 563
原创 screen命令
创建一个会话为的新窗口: 在新窗口中执行程序,例如,按返回主界面(脱离会话,返回上一状态)恢复指定会话,删除窗口:先运行显式所有窗口,然后执行(表示想关闭的session),即可kill掉相应窗口窗口缓存log重定向按挂起当前进程,这会向进程发送一个TSTP信号,即停止执行进程,并且内核不再为该进程安排更多的CPU时间在后台恢复进程:输入命令,这会将SIGCONT信号发送到该进程,现在它会在后台重新运行起来进程:运行,会从活动作业表中删除该进程,从本质上允许该进程被另一个会话接管新开:执行,进入一个新的会话
2024-05-11 10:39:41 346
原创 【论文精度】An AST Structure Enhanced Decoder for Code Generation
本文提出了一种用于代码生成的新型AST结构增强解码器,在上述两个方面显著扩展了解码器:- 引入了一种AST信息增强注意力机制来充分利用历史actions,历史actions的影响根据树上的语法距离、动作类型和相对位置进一步区分;- 通过多任务学习,联合建模当前动作及其重要的未来动作的预测,并利用后者的隐藏状态进一步改进前者。(利用未来兄弟节点信息,解码器先预测与当前节点最近的兄弟节点,此类信息能很好地补充当前节点对全局结构信息的利用)
2023-03-07 16:07:27 386
原创 【Analyzing and Mitigating Interference in Neural Architecture Search】分析与缓解NAS权重共享方法中的子模型之间的干扰问题
【分析与缓解NAS权重共享方法中的子模型之间的干扰问题】论文定量分析了NAS中权重共享干扰的原因,并开发了MAGIC-T和MAGIC-A两种方法来缓解这种干扰,所提出的方法可以提高超网的秩相关性,并可以搜索得到有效的架构。在多种NLP和ImageNet任务上的实验验证了该方法的有效性。
2023-02-10 16:15:26 309
原创 【论文精度】PLBART: Unified Pre-training for Program Understanding and Generation
本论文介绍了 PLBART,这是一种序列到序列模型,能够执行广泛的程序和语言理解和生成任务。PLBART 通过去噪自动编码在广泛的 Java 和 Python 函数集合以及相关的 NL 文本上进行了预训练。对七种编程语言的英语代码摘要、代码生成和代码翻译的实验表明,PLBART 优于或与最先进的模型相媲美。此外,对判别任务(例如程序修复、克隆检测和漏洞代码检测)的实验证明了 PLBART 在程序理解方面的有效性。
2023-01-04 22:16:00 2332 3
原创 面向神经代码智能(NCI,Neural Code Intelligence)的预训练语言模型综述
随着现代软件的复杂性不断升级,软件工程已经成为一项日益艰巨且容易出错的工作。近年来,神经代码智能(NCI)领域已经成为一种有前途的解决方案,利用深度学习技术的力量来解决源代码的分析任务,目标是提高编程效率,并最大限度地减少软件行业中的人为错误。预训练语言模型已经成为NCI研究的主导力量,在广泛的任务中始终如一地提供最先进的结果,包括代码摘要、生成和翻译。本文对NCI领域进行了全面的调研,包括对预训练技术、任务、数据集和模型架构的全面回顾。
2022-12-30 00:23:44 1086
原创 【论文精度】CodeBERT——基于自然语言和编程语言的预训练模型
【论文精度】CodeBERT,一种用于编程语言(PL)和自然语言(NL)的双模态预训练模型CodeBERT,CodeBERT学习了通用表示,支持自然语言代码搜索、代码文档生成等下游NL-PL任务。
2022-12-28 23:51:13 2081
原创 基于opencv的图像操作——图片比较、缩放图片、图片边缘填充、对比度增强、图像二值化等
基于opencv的图像操作,包括图片比较、缩放图片、图片边缘填充、对比度增强、图像二值化等
2022-12-27 13:58:48 1854
原创 subprocess执行命令行获取返回
对于场景:我们通过允许一个代码去执行另外一个代码并获取其返回值,在这种场景下,我们可以通过subprocess来实现,具体实现代码在本文章中有样例,进行适当地修改即可
2022-12-27 13:53:42 3549
原创 预训练语言模型的发展——从原始神经网络语言模型到GPT/BERT
文章从最原始的语言模型开始,介绍Word2Vec/Glove等第一代PLMs方法及其缺点;然后延伸介绍ELMO/GPT/BERT等第二代PLMs方法,集中在学习基于文脉的词向量表示,保留模型本身。
2022-12-27 13:36:43 1170
原创 【论文精度】AutoBERT-Zero (使用NAS搜索预训练语言模型)
论文精度:本文提出了一个新颖的分层搜索空间和一个高效的NAS框架,能够自动从头发现有潜力的PLM主干。搜索得到的自注意力结构和骨干架构可以为NLP社区的模型设计带来新的思路。
2022-12-23 18:31:51 466
原创 预训练语言模型(PLMs)综述
预训练语言模型(PLMs)是在大规模语料库上以自监督方式进行预训练的语言模型。在过去的几年中,这些PLM从根本上改变了自然语言处理社区。传统的自监督预训练任务主要涉及。在对这些PLM进行预训练后,可以对下游任务进行微调。按照惯例,这些微调包括。在下游任务上对PLM进行微调通常会带来非凡的性能提升,这就是plm如此受欢迎的原因。在本教程中,从两个角度提供广泛而全面的介绍:为什么这些PLM有效,以及如何在NLP任务中使用它们。
2022-12-21 16:11:15 6741
原创 【论文精度】生成式预训练模型——BART(Bidirectional and Auto-Regressive Transformers)
BART是一个预训练的seq2seq的去噪自编码(denoising autoencoder)模型,BART以下方式进行训练①用任意的噪声函数(noising function)去破坏文本;②学习一个模型来重建原始文本。它使用一个标准的基于transformer的神经机器翻译架构,可以看作是BERT(双向编码器)、GPT(left-to-right解码器)以及其他预训练方案的推广。
2022-12-17 01:06:19 5563 1
原创 Python相关的问题总结
python代码中的编码问题总结:①编码问题;②模块调用问题(No module named ‘pytdx.hq’);③中文乱码问题
2022-12-10 14:33:58 463
原创 cpu_内存监控
根据进程名监控其运行过程中的内存占用情况#!/usr/bin/env python# -*- coding: utf-8 -*-# coding:gbkimport os, reimport timeimport stringimport xlrdimport xlwtfrom xlutils.copy import copydef countProcessMemoey(processName): pattern = re.compile(r'([^\s]+)\s+(\d+
2022-03-13 13:54:17 885
原创 调用sklearn模型遇到Unknown label type: continuous 的解决办法
调用sklearn模型遇到Unknown label type: continuous 的解决办法分类问题 sklearn.svm.SVC()分类问题的标签应该设置为int类型,直接在y输入变量的后面加上转换数据类型为int或者string即可: y_train.astype('int')回归问题 sklearn.svm.SVR()回归问题应该使用的是SVR,若使用sklearn.svm.SVC()则会出现上面的问题,因为SVC()处理的是分类问题,标签的类型应该是int或strin
2021-08-19 15:57:59 1459
原创 python 操作mysql数据中fetchall()方式操作多次时返回数据为空
运行下面代码from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:xxx@xxx:3306/xxx')conn=engine.connect()ss='1000324'#result=conn.execute("select max(FDate) from big_V_fund_info where FCode=%s"%(ss))result=conn.execute("select d
2021-05-31 18:44:46 2300
原创 python中json.dumps(dict)中文编码错误
python中json.dumps(dict)中文出现编码错误解析:①python3里面默认编码是unicode②做dump与dumps操作时,会默认将中文转换为unicode,但在做逆向操作load和loads时会转换为中文,但是中间态(例如存储的json文件)的中文编码方式仍然是unicode解决办法:在dump里面添加 ensure_ascii=Falsedata = json.dumps(dict, ensure_ascii=False) ...
2021-05-26 23:43:38 919
原创 python爬虫https出现SSLError错误的解决办法
python爬虫https时出现SSLError错误的解决办法报错:requests.exceptions.SSLError: HTTPSConnectionPool(host=‘appconfig2.1234567.com.cn’, port=443): Max retriesexceeded with url: /config/ComboDataDetail?product=EFund&appVersion=6.4.4&MobileKey=4cf4fb5db48e21cbe5b6b9
2021-05-23 16:13:41 3735 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人