![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 63
Python的基本方法
Billie使劲学
这个作者很懒,什么都没留下…
展开
-
joblib的使用
是 Python 中joblib库的一部分,常用于将 Python 对象序列化并保存到文件中。相比于picklejoblib更适合处理大型数据,因为它在序列化过程中效率更高,特别是在存储包含大量 numpy 数组的数据时。原创 2024-08-12 16:39:42 · 331 阅读 · 0 评论 -
文档格式批量转换-LibreOffice安装及使用(Windows)
点击Windows版本下载安装下载的文件安装类型选择自定义,下一步修改软件安装的位置,为了不占用C盘空间,我安装在了D盘。文件类型都没有选择然后点击下一步直至安装完成。原创 2024-06-26 17:35:00 · 571 阅读 · 0 评论 -
pytorch 分布式训练
神经网络训练加速的最简单方法是使用GPU,对弈神经网络中常规操作(矩阵乘法和加法)GPU运算速度要倍超于CPU。随着模型或数据集越来越大,一个GPU很快就会变得不足。例如,BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练,需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架,它在主流框架中对于灵活性和易用性的平衡最好。和。DataParallel更易于使用(只需简单包装单GPU模型)。原创 2023-12-26 13:57:05 · 2739 阅读 · 0 评论 -
pip freeze 导出的requirements.txt文件含有 @file
使用 pip freeze > requirements.txt 导出的文件中含有 @file://解决:pip list --format=freeze > requirements.txt。原因是这种方法生成的文件只能用于本地环境,无法供他们使用。使用这个文件在其他环境下安装就会出现 找不到路径的错误。使用以下方式生成文件。原创 2023-12-26 10:13:02 · 987 阅读 · 0 评论 -
多GPU训练网络模型——数据并行(DataParallel、DistributedDataParallel)
分布式:分布式是指使用多台服务器的多块GPU进行运算,即多机多卡。并行:并行是指使用一台服务器的多个GPU运算,即单机多卡。原创 2023-07-14 10:44:56 · 868 阅读 · 0 评论 -
多进程运行含有任意参数的函数、为什么multiprosessing会进行多次初始化
使用偏函数:偏函数有点像数学中的偏导数,可以让我们只关注其中的某一个变量而不考虑其他变量的影响。如以下代码中,我们要将set_seq、tokenizer和model作为变量传入“Seq_to_vec”函数中。particial函数中,“Seq_to_vec”是一个函数,tokenizer和model是不变的量,“map_async”中particial_func为偏函数,set_seq为可迭代对象。原创 2023-12-18 09:23:31 · 1124 阅读 · 0 评论 -
DataFrame的基本用法
定义一个空的DataFramedf = pd.DataFrame(data=None,columns=range(1,5),index=[0,1]) # 从列表定义,定义列名和行名dfdf = pd.DataFrame(columns={"a":"","b":""},index=[0,1,2]) #从字典定义df。原创 2023-11-06 15:26:36 · 5375 阅读 · 0 评论 -
读取不同格式文件中的内容(xlsx,csv,txt,npz,yaml)
1.读取.xlsx中的内容。5.读取.yaml中的内容。3.读取.txt中的内容。4.读取.npz中的内容。2.读取csv中的内容。原创 2023-10-23 15:57:12 · 279 阅读 · 0 评论 -
argparse的用法
argparse 模块是 Python 内置的用于命令项选项与参数解析的模块,argparse 模块可以让人轻松编写用户友好的命令行接口,能够帮助程序员为模型定义参数。打印如下信息,可以看到,未给‘batchsize’分配内容时,argparse会自动调用‘batchsize’的默认值‘default=8’提示,不需要键入‘data_path’,只需要键入‘data_path’的内容,argparse会自动将该内容分配给‘data_path’。# 只运行python文件,不输入参数时。原创 2023-09-21 09:50:26 · 797 阅读 · 0 评论 -
使用hook提取模型的特征图
若打印结果是下面这样的,需要找到model的表示网络层的属性,如上面print(dir(model)显示的,需print(dir(model.model)才能打印网络层,这主要根据网络包装情况判断。这两个输出要区别好,name是后面需要判断是否是目标网路层,print的是模型某一块网络结构,写这两部分是为了展示这两个索引方式的不同。以上面的网络层输出为例,括号中就是网络层的名字,然后再根据缩进来判断网络层的层级关系。运行下面代码可以查看model中所有的网络层名字,然后选择自己需要的名字就好了。原创 2023-09-20 14:36:52 · 165 阅读 · 0 评论 -
多进程multiprocessing——apply、map
"""参数介绍:processes: 设置要使用的进程数量,如果 processes 为 None,则使用 os.cpu_count() 返回的值initializer: 是每个工作进程启动时要执行的可调用对象,默认为Nonemaxtasksperchild: 工作进程退出之前可以完成的任务数,完成后用一个新的工作进程来替代原进程,为了释放闲置资源context: 可被用于指定启动的工作进程的上下文"""原创 2023-07-21 17:25:35 · 1045 阅读 · 0 评论