- 博客(15)
- 收藏
- 关注
RSS订阅原创 如何使用Torch.multiprocessing改进Torch数据加载器的并行化
在本博文中，我们探讨了在处理包含大型3D医学扫描数据集时PyTorch标准DataLoader的局限性，并提出了使用torch.multiprocessing改进数据加载效率的自定义解决方案。针对从这些3D医学扫描中提取切片的情境，由于工作进程不共享内存，标准DataLoader有可能导致多次读取同一患者扫描数据。这种冗余会导致显著延迟，特别是在处理大型数据集时。我们的自定义DataLoader将患者分配给各个工作进程，确保每个3D扫描只在每个工作进程中读取一次。
2024-06-20 16:40:08
622
原创 Python中argparse使用的时候用-还是用--？
在文件test.py中，import argparseparser = argparse.ArgumentParser(description="SSc score prediction.")parser.add_argument( '-f', '--fold',choices=(1,2,3,4,5), help='5-fold training', type=int, default=2) # 这里'-f'和'--fold'可以只保留一个，或者都保留。只保留一个的话，args就会存在响应的属性a
2021-03-06 17:25:09
657
原创 Pytorch .numpy(), .item(), .detach(), .cpu(), .cuda(), .tensor(), .as_tensor(), Tensor(), .clone(),
今天说明一下Pytorch的Tensor变量与Numpy之间的转化。Pytorch中有以下这么多命令涉及到tensor和numpy之间的转化： .numpy(), .item(), .detach(), .cpu(), .cuda(), .tensor(), .as_tensor(), Tensor(), .clone(),具体怎么用呢？请看下面的详细解释。正如Numpy中所有的操作都是针对Numpy特有的变量类型Array，在Pytorch中几乎所有的操作都是针对Pytorch特有的变量类型Tens
2021-03-06 02:39:37
3436
8
原创 python中类和对象的__dict__
类和对象都有__dict__属性，用于存储类和对象的所有属性。但是二者的__dict__是不一样的。最大的不同是：类的__dict__不允许手动直接修改，而对象的__dict__允许手动直接修改.比如：class Myclass(): def __init__(self): self.x = 1myobject = Myclass()myobject.y = 2 # okaymyobject.__dict__['y']=3 # okayMyclass.z = 2 # o
2020-12-17 03:13:10
746
原创 python方法与调用
python的每一个类都有定义一些方法， 这些方法可以显示调用，也可以可以通过以下这种方式调用。class A: def __init__(self): self.sample = [1,2,3] pass def __len__(self): pass def __call__(self): pass def __getitem__(self, item): return self.sample[item] def __str__():
2020-11-20 04:47:01
166
原创 生成器(Generator)，迭代器(Iterator) 和可迭代对象
什么是可迭代的对象？可迭代的对象，Iterable object，即可以用for循环的对象。Iterable:一类是：list、tuple、dict、set、str二类是：生成器（generator）（生成器都是可迭代对象），包含生成器和带yield的generator function迭代器迭代器是实现迭代器协议的对象，该协议由__iter __()和__next __()方法组成。换句话说，如果一个对象实现了__iter __()和__next __()这两个方法，那么这个对象就是迭代
2020-11-18 06:00:54
432
原创 python setup.py install VS python setup.py develop
1.在安装某个库或包时，发现可以python setup.py install 和python setup.py develop两种方式来安装，这两种方法有什么不同？一直困扰着我，下面我们就来讨论下这个简单的问题2.python setup.py install：主要是安装典型第三方包，这种包比较稳定，不再需要你去编辑、修改或是调试。3.python setup.py develop:当你安装一个包后，这个包需要你不断修改，这样你就不得不重新安装，这时就采用这种安装方法。但是，注意，她们都有相对应的替
2020-11-06 03:24:40
1061
原创 为什么自己发布的python都包安装完成之后却导入失败？
自己发布的包，包的名字最好和模块的名字还有根目录的名字一致。具体细节请看我这overstack的这个提问和回答。我懒得翻译成中文了。referencehttps://stackoverflow.com/questions/64591254/why-customer-python-package-can-not-be-imported...
2020-10-29 21:17:24
368
原创 python git版本库，包，模块，pypi发布开源包， pycharm项目等概念
一个.py文件就是一个python模块，一个包含__init.py文件的文件夹就是一个python包（包和模块的具体区别这这里）。如果我们要把自己写好的文件用git进行版本管理，需要用git init命令这包的文件夹内创建一个.git的隐藏文件夹，从此这个包（文件夹）就可以使用git进行版本管理了。而且这个带.git文件夹的包从此也可push到github进行托管了。注意每次git push所操作的单位是整个包，包的根目录需要有.git文件夹。如果我们写好的包需要发布到pypi上供其他人通过pip 的方
2020-10-29 04:59:21
285
原创 怎么安排多个python项目都用到的函数或者模块？
我之前完成了一个项目，这开展第二个项目的过程中发现，由于两个项目有一些功能是重复了，所以可以借用第一个项目的函数或者模块。那么就有了这个问题，怎么安排多个python项目都用到的函数或者模块？我想到了一下几种可能都解决方案，并且选择了一个适合我自己都方案。答案： 把共用的函数和模块抽取独立出来，组建一个新的第三方模块，这样2个项目都可以调用了。再问：如何组建第三方模块？答案：一种就是直接打包发布到pypi，作为共有包，然后其他项目都可以流畅地下载。第二种就是把共有的模块放到一个文件夹，加一个__ini
2020-10-28 19:57:41
639
原创 python构建包和模块的时候要不要加__init__.py？
大家在自己写自己的python包或者模块的时候都会碰到一个问题：要不要在包的文件夹内加一个空的或者有内容的__init__.py文件？有人说要，有人说python3.3以后不需要了。到底需要不需要呢？
2020-10-28 06:36:40
2030
原创 Python包和模块的区别
Python中包（package）和模块（module）的区别是什么？一般我们用import导入所需的包或者模块的时候，我们其实是不需要区分模块和包的区别的，我自己之前也一直以为这两个词语是同一个意思。但是其实这是两个不同的概念。模块任何以.py结尾的Python文件都是模块（package），模块的名字就是文件名（不加.py），不过有时候模块的名字也可以通过模块的__name__重新指定。包包是多个模块的组合。如果一个文件夹下包括多个.py文件和一个__init__.py文件（对于python2
2020-10-28 06:30:55
5751
2
原创 为什么通过MobaXterm的X11远程打开的Pycharm无法正常输入分号，无法使用方向键？
为什么通过MobaXterm的X11远程打开的Pycharm无法正常输入分号，无法使用方向键？为什么通过MobaXterm的X11远程打开的Pycharm无法正常输入分号，无法使用方向键？为什么打不出引号？为什么远程Linux服务器打不出引号？为什么远程服务器上运行的Pycharm打不出引号？为什么按上下左右方向键会一直冒出来222厖444厖666等？为什么通过MobaXterm的X11远程打开的Pycharm无法正常输入分号，无法使用方向键？过去的一年，我在本地Windows电脑上通过MobaXter
2020-10-27 06:28:07
3778
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人