python工程及pytorch设置

Python 工程结构

1. 工程结构图

2.python编码规范

• 包、模块的命名规范

  小写，多个单词用下划线分割

• 类的命名规范

  驼峰命名法

  有多个单词，首字母大写，私有类用下划线开头

  例如：HelloWorld、_HelloWorld

• 方法（函数）的命名规范

  小写，如果多个字母用下划线分割，私有函数用下划线开头，或两个下划线

  例如：my_first_method、_my_first_pv_method

• 变量的命名规范

  小写，如果多个字母用下划线分割，私有函数用下划线开头，或两个下划线

• 常量的命名规范

​ 大写，如果多个字母用下划线分割，私有函数用下划线开头，或两个下划线

3.模块

使用模块还可以避免函数名和变量名冲突。相同名字的函数和变量完全可以分别存在不同的模块中，因此，我们自己在编写模块时，不必考虑名字会与其他模块冲突。但是也要注意，尽量不要与内置函数名字冲突。点这里查看Python的所有内置函数。

你也许还想到，如果不同的人编写的模块名相同怎么办？为了避免模块名冲突，Python又引入了按目录来组织模块的方法，称为包（Package）。

举个例子，一个abc.py的文件就是一个名字叫abc的模块，一个xyz.py的文件就是一个名字叫xyz的模块。

现在，假设我们的abc和xyz这两个模块名字与其他模块冲突了，于是我们可以通过包来组织模块，避免冲突。方法是选择一个顶层包名，比如mycompany，按照如下目录存放：

mycompany
├─ __init__.py
├─ abc.py
└─ xyz.py

引入了包以后，只要顶层的包名不与别人冲突，那所有模块都不会与别人冲突。现在，abc.py模块的名字就变成了mycompany.abc，类似的，xyz.py的模块名变成了mycompany.xyz。

请注意，每一个包目录下面都会有一个__init__.py的文件，这个文件是必须存在的，否则，Python就把这个目录当成普通目录，而不是一个包。__init__.py可以是空文件，也可以有Python代码，因为__init__.py本身就是一个模块，而它的模块名就是mycompany。

类似的，可以有多级目录，组成多级层次的包结构。比如如下的目录结构：

mycompany
 ├─ web
 │  ├─ __init__.py
 │  ├─ utils.py
 │  └─ www.py
 ├─ __init__.py
 ├─ abc.py
 └─ utils.py

文件www.py的模块名就是mycompany.web.www，两个文件utils.py的模块名分别是mycompany.utils和mycompany.web.utils。

使用模块

Python本身就内置了很多非常有用的模块，只要安装完毕，这些模块就可以立刻使用。

我们以内建的sys模块为例，编写一个hello的模块：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

' a test module '

__author__ = 'Michael Liao'

import sys

def test():
    args = sys.argv
    if len(args)==1:
        print('Hello, world!')
    elif len(args)==2:
        print('Hello, %s!' % args[1])
    else:
        print('Too many arguments!')

if __name__=='__main__':
    test()

第1行和第2行是标准注释，第1行注释可以让这个hello.py文件直接在Unix/Linux/Mac上运行，第2行注释表示.py文件本身使用标准UTF-8编码；

第4行是一个字符串，表示模块的文档注释，任何模块代码的第一个字符串都被视为模块的文档注释；

第6行使用__author__变量把作者写进去，这样当你公开源代码后别人就可以瞻仰你的大名；

以上就是Python模块的标准文件模板，当然也可以全部删掉不写，但是，按标准办事肯定没错。

后面开始就是真正的代码部分。

你可能注意到了，使用sys模块的第一步，就是导入该模块：

import sys

导入sys模块后，我们就有了变量sys指向该模块，利用sys这个变量，就可以访问sys模块的所有功能。

sys模块有一个argv变量，用list存储了命令行的所有参数。argv至少有一个元素，因为第一个参数永远是该.py文件的名称，例如：

运行python3 hello.py获得的sys.argv就是['hello.py']；

运行python3 hello.py Michael获得的sys.argv就是['hello.py', 'Michael']。

最后，注意到这两行代码：

if __name__=='__main__':
    test()

name两边各有2个下划线__name__有2个取值：当模块是被调用执行的，取值为模块的名字；当模块是直接执行的，则该变量取值为：__main__

当我们在命令行运行hello模块文件时，Python解释器把一个特殊变量__name__置为__main__，而如果在其他地方导入该hello模块时，if判断将失败，因此，这种if测试可以让一个模块通过命令行运行时执行一些额外的代码，最常见的就是运行测试。

其中if __name__ == __main__：这句估计很多和我一样的初学者都是不求甚解。 这里作一下解释：

1：name是一个变量。前后加了爽下划线是因为是因为这是系统定义的名字。普通变量不要使用此方式命名变量。

2：Python有很多模块，而这些模块是可以独立运行的！这点不像C++和C的头文件。

3：import的时候是要执行所import的模块的。

4：name就是标识模块的名字的一个系统变量。这里分两种情况：假如当前模块是主模块（也就是调用其他模块的模块），那么此模块名字就是main，通过if判断这样就可以执行“mian:”后面的主函数内容；假如此模块是被import的，则此模块名字为文件名字（不加后面的.py），通过if判断这样就会跳过“mian:”后面的内容。

通过上面方式，python就可以分清楚哪些是主函数，进入主函数执行；并且可以调用其他模块的各个函数等等。

如果启动Python交互环境，再导入hello模块：

$ python3
Python 3.4.3 (v3.4.3:9b73f1c3e601, Feb 23 2015, 02:52:03) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import hello
>>>

导入时，没有打印Hello, word!，因为没有执行test()函数。

调用hello.test()时，才能打印出Hello, word!：

>>> hello.test()
Hello, world!

模块搜索路径

当我们试图加载一个模块时，Python会在指定的路径下搜索对应的.py文件，如果找不到，就会报错：

>>> import mymodule
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named mymodule

默认情况下，Python解释器会搜索当前目录、所有已安装的内置模块和第三方模块，搜索路径存放在sys模块的path变量中：

>>> import sys
>>> sys.path
['', '/Library/Frameworks/Python.framework/Versions/3.6/lib/python36.zip', '/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6', ..., '/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages']

如果我们要添加自己的搜索目录，有两种方法：

一是直接修改sys.path，添加要搜索的目录：

>>> import sys
>>> sys.path.append('/Users/michael/my_py_scripts')

这种方法是在运行时修改，运行结束后失效。

第二种方法是设置环境变量PYTHONPATH，该环境变量的内容会被自动添加到模块搜索路径中。设置方式与设置Path环境变量类似。注意只需要添加你自己的搜索路径，Python自己本身的搜索路径不受影响。

pipvenv

pipenv的优势

• pipenv会在项目目录下创建 Pipfile 、 Pipfile.lock 文件，管理包之间的依赖关系，以前我们需要将虚拟环境依赖包的导出为requirements.txt, 一旦依赖包变动,就要重新导出，现在Pipfile和Pipfile.lock文件可以节省这些步骤，更方便地管理；

• 安装卸载包无需激活虚拟环境，直接在项目文件夹下操作；

• 卸载时，自动检查依赖库是否被其他包依赖，来选择是否彻底删除。

• 无需激活虚拟环境执行代码，只要有pipfile文件通过 pipenv run python xx.py。

• 便于docker容器化管理，Pipfile文件支持生成requirements文件，便于项目代码docker化管理，另外，pipfile还支持–dev环境，可以在调试阶段安装许多调试工具等，而不影响生产环境的环境。

• 各个地方使用了哈希校验，无论安装还是卸载包都十分安全，且会自动公开安全漏洞。

• 通过加载.env文件简化开发工作流程

安装

Anaconda Prompt 或者 cmd 输入 -> pip install pipenv

检测安装是否成功：pipenv --version

预览一下pipenv的用法 pipenv --help

安装失败可能是网的问题,用此命令添加国内数据源

pip install --user pipenv -i https://pypi.doubanio.com/simple/

pytorch安装

安装Anaconda

可去镜像下载安装包https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

创建PyTorch环境

1. 单击启动Anaconda Prompt

2. 输入以下内容，创建虚拟“房间”

    conda create -n pytorch python=3.10
   

3. 查看创建的“房间”

    conda info --envs
   

配置清华源(加快下载)

​ TUNA 提供了Anaconda仓库与第三方源（conda-forge、msys2、pytorch等，查看完整列表）的镜像，各系统都可以通过修改用户目录下的 .condarc 文件。Windows用户无法直接创建名为 .condarc 的文件，可先执行 conda config --set show_channel_urls yes 生成该文件之后再修改。

注：由于更新过快难以同步，TUNA不同步pytorch-nightly, pytorch-nightly-cpu, ignite-nightly这三个包。

1. 生成 .condarc文件
   在 Anaconda prompt 命令窗口，中输入：

conda config --set show_channel_urls yes

​ 之后可以在 C:\Users\xxx 中看到 .condarc 文件

2. 记事本打开 .condarc 文件，重写其中的内容。

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
ssl_verify: false

安装PyTorch

1. **进入pytorch官网：**https://pytorch.org/
2. 网页下拉，即可看到下图，官网会自动根据你的电脑，显示的即是你可安装的CUDA版本，并给出安装命令。

其中CUDA时表示当你的计算机有GPU时，随后将下图的代码粘贴进Anaconda Prompt

3. 复制官网提供的命令

   conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
   

4. 打开Anaconda prompt命令窗口，进入你刚刚所创建的环境（我的命名是PyTorch)

   conda activate PyTorch
   

   进入环境

   

5. 最后输入官网提供的命令，即可下载

   conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
   

测试

打开 Anaconda prompt 命令窗口，激活环境，输入python，进入python开发环境中

import torch
torch.cuda.is_available()

True

Pycharm 配置 PyTorch

测试

from __future__ import print_function
import torch
x =  torch.zeros(5,3)
print(x)

效果如下