文件与协议处理
文章平均质量分 78
基于Linux系统对计算机上的文件处理和协议传输与处理
Wanderer001
AR/VR软件与硬件技术:图像增强、图像分类、语义分割、目标检测、目标跟踪、风格迁移、强化学习、三维重建、SLAM
展开
-
os.path.normpath()
Python中的OS模块提供了与操作系统进行交互的功能。操作系统属于Python的标准实用程序模块。该模块提供了使用依赖于操作系统的功能的便携式方法。 os.path模块是Python中OS模块的子模块,用于通用路径名操作。os.path.normpath()Python中的方法用于规范化指定的路径。在路径规范化过程中,所有冗余分隔符和up-level引用均折叠。例如: A //B,A /B /,A /./B和A /foo /../B都将被标准化为A /B。在Windows操作系统上,路径中的任何正斜杠原创 2022-03-02 12:24:36 · 6990 阅读 · 0 评论 -
os.removedirs() 和shutil.rmtree() 用于删除文件夹
概述os.removedirs() 方法用于递归删除目录。像rmdir(), 如果子文件夹成功删除, removedirs()才尝试它们的父文件夹,直到抛出一个error(它基本上被忽略,因为它一般意味着你文件夹不为空)。语法removedirs()方法语法格式如下:os.removedirs(path)参数 path-- 要移除的目录路径 返回值该方法没有返回值实例以下实例演示了 removedirs() 方法的使用:import os,sysimpo.原创 2022-03-02 12:24:43 · 3236 阅读 · 0 评论 -
os.walk()
概述os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。在Unix,Windows中有效。语法walk()方法语法格式如下:os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])参数 top -- 是你所要遍历的目录的地址, 返回的是一个三元组(root,dirs,f原创 2022-03-02 12:24:49 · 242 阅读 · 0 评论 -
函数式编程模块(一)、itertools模块
目录chain()groupby()imap()ifilter()小结Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。首先,我们看看itertools提供的几个“无限”迭代器:>>> import itertools>>> natuals = itertools.count(1)>>......原创 2022-08-28 16:15:42 · 277 阅读 · 0 评论 -
通用操作系统服务(一)、argparse模块
目录例创建一个解析器添加参数解析参数ArgumentParser对象progusage描述epilogparentsformatter_classprefix_charsfromfile_prefix_charsargument_defaultallow_abbrevconflict_handleradd_helpThe ad...原创 2022-09-01 16:39:12 · 567 阅读 · 0 评论 -
数据持久性(一)、pickle模块
一、pickle模块详解pkl文件是python的一种存储方式。 该存储方式,可以将python项目过程中用到的一些暂时变量、或者需要提取、暂存的字符串、列表、字典等数据保存起来。 保存方式就是保存到创建的.pkl文件里面。 然后需要使用的时候再 open,load。该pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。“Pickling”是将Python对象......原创 2022-08-30 19:25:33 · 739 阅读 · 0 评论 -
sys.version和sys.version_info 查看版本
>>> sys.version'3.6.2 (v3.6.2:5fd33b5926, Jul 16 2017, 20:11:06) \n[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)]'>>> sys.version_infosys.version_info(major=3, minor=6, micro=2, releaselevel='final', serial=0)>>> if sys.versio.原创 2022-03-08 12:48:14 · 2518 阅读 · 2 评论 -
os.path.splitext()用法--分离文件名与扩展名
用法:os.path.splitext(“文件路径”) 分离文件名与扩展名;默认返回(fname,fextension)元组,可做分片操作例子:import ospath_01='E:\STH\Foobar2000\install.log'path_02='E:\STH\Foobar2000'res_01=os.path.splitext(path_01)res_02=os.path.splitext(path_02)print(root_01)print(root_02)...原创 2022-03-18 10:41:29 · 838 阅读 · 0 评论 -
请问add_mutually_exclusive_group函数什么意思?
创建一个互斥组。 argparse 将会确保互斥组中只有一个参数在命令行中可用:>>> parser = argparse.ArgumentParser(prog='PROG')>>> group = parser.add_mutually_exclusive_group()>>> group.add_argument('--foo', action='store_true')>>> group.add_argument('原创 2022-03-21 10:36:18 · 3458 阅读 · 0 评论 -
python中os.path.isabs(path)的分析
这个本身是小组朋友问的问题,感觉不错,我给出的回答问:>>> os.path.isabs("/home")True>>> os.path.isabs("/home/..")True>>> os.path.isabs("home/..")False这里第二个应该是相对路径吧? 应该返回False?答:首先,给段资料The current os.path.isabs documentation says:> isabs原创 2022-04-26 08:44:44 · 3048 阅读 · 0 评论 -
Python的logging模块
logging模块简介Python的logging模块提供了通用的日志系统,可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别,并可以采用不同的方式记录日志,比如文件,HTTP GET/POST,SMTP,Socket等,甚至可以自己实现具体的日志记录方式。logging模块与log4j的机制是一样的,只是具体的实现细节不同。模块提供logger,handler,filter,for...原创 2022-05-18 10:05:08 · 385 阅读 · 0 评论 -
Python中什么时候用logger.debug, info, error
日志级别由高到低是:fatal, error, warn, info, debug低级别的可以输出高级别的信息,高级别的不会输出低级别的;如等级设为error的话, warn ,info, debug的信息不会输出,项目正式发布后,一般会把日志级别设置为fatal或者error....原创 2022-05-17 14:07:20 · 2188 阅读 · 0 评论 -
ArgumentParser
classargparse.ArgumentParser(prog=None, usage=None, description=None, epilog=None, parents=[], formatter_class=argparse.HelpFormatter, prefix_chars='-', fromfile_prefix_chars=None, argument_default=...原创 2022-05-27 14:24:35 · 697 阅读 · 0 评论 -
python 获取系统环境变量 os.environ and os.putenv
从一段code说起 “if "BATCH_CONFIG_INI" in os.environ:” 判断环境变量的值有没有定义如果定义的话就去环境变量的值,否则就取当前目录下的config.ini文件。if "BATCH_CONFIG_INI" in os.environ: print "Using custom ini file!" self.inifile = os.env...原创 2022-05-20 12:56:46 · 1789 阅读 · 0 评论 -
NCCL(NVIDIA Collective Communication Library)
NCCL(NVIDIA Collective Communication Library),英伟达多GPU通信库。参考链接:https://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/docs/index.html原创 2022-05-20 12:57:23 · 660 阅读 · 0 评论 -
MPI编程入门详解
MPI简介说到并行计算,我们有一个不可绕开的话题——MPI编程。MPI是一个跨语言的通讯协议,用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口,包括协议和和语义说明,他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能,大规模性,和可移植性。MPI在今天仍为高性能计算的主要模型。与OpenMP并行程序不同,MPI是一种基于信息传递的并行编程技术。消息传递接口是一种编...原创 2022-05-19 13:40:40 · 10462 阅读 · 0 评论 -
Python的time.strftime()方法
描述Python time strftime() 函数接收以时间元组,并返回以可读字符串表示的当地时间,格式由参数format决定。语法strftime()方法语法:time.strftime(format[, t])参数format -- 格式字符串。 t -- 可选的参数t是一个struct_time对象。返回值返回以可读字符串表示的当地时间。说明py...转载 2022-05-21 13:16:07 · 9662 阅读 · 0 评论 -
什么是BOM头(字节顺序标记(ByteOrderMark))
在utf-8编码文件中BOM在文件头部,占用三个字节,用来标示该文件属于utf-8编码,现在已经有很多软件识别bom头,但是还有些不能识别bom头,比如PHP就不能识别bom头,这也是用记事本编辑utf-8编码后执行就会出错的原因了。其实UTF-8 的BOM对UFT-8没有作用,是为了支援UTF-16,UTF-32才加上的BOM,BOM签名的意思就是告诉编辑器当前文件采用何种编码,方便编辑器识别,...原创 2022-05-25 16:10:53 · 3098 阅读 · 0 评论 -
常用字符的编码
目录第一种:ASCII码第二种:GBK 和 GB2312第三种:Unicode第四种:UTF-8字符编码的常用种类介绍 第一种:ASCII码ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是基于拉丁字母的一套电脑编码系统,主要用于显示现.........原创 2022-08-07 20:30:22 · 1526 阅读 · 0 评论 -
Python的addict模块
addict is a Python module that gives you dictionaries whose values are both gettable and settable using attributes, in addition to standard item-syntax.This means that you don't have to write dictiona...原创 2022-05-29 14:00:34 · 2758 阅读 · 0 评论 -
Python的h5py模块
1. 核心概念一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group。在使用h5py的时候需要牢记一句话:groups类比词典,dataset类比Numpy中的数组。 HDF5的dataset虽然与Numpy的数组在接口上很相近,但是支持更多对外透明的存储特征,如数据压缩...原创 2022-05-29 14:00:11 · 2053 阅读 · 0 评论 -
CSV文件
CSV文件:Comma-Separated Values,中文叫,逗号分隔值或者字符分割值,其文件以纯文本的形式存储表格数据。该文件是一个字符序列,可以由任意数目的记录组成,记录间以某种换行符分割。每条记录由字段组成,字段间的分隔符是其他字符或者字符串。所有的记录都有完全相同的字段序列,相当于一个结构化表的纯文本形式。用文本文件、EXcel或者类似与文本文件的都可以打开CSV文件。在爬虫中,...原创 2022-06-02 14:33:55 · 1239 阅读 · 0 评论 -
YAML语法,yml文件语法
YAML(/ˈjæməl/,尾音类似 camel 骆驼)是一个可读性高,用来表达数据序列化的格式。YAML 参考了其他多种语言,包括: C 语言、 Python、Perl,并从 XML、电子邮件的数据格式(RFC 2822)中获得灵感。Clark Evans 在 2001 年首次发表了这种语言 ,另外 Ingy döt Net 与 Oren Ben-Kiki 也是这语言的共同设计者 。当前已经有数...原创 2022-06-02 14:33:29 · 1075 阅读 · 0 评论 -
FIFO原理
First Input First Output的缩写,先入先出队列,这是一种传统的按序执行方法,先进入的指令先完成并引退,跟着才执行第二条指令。FIFO(First Input First Output),即先进先出队列。在超市购物之后会提着我们满满的购物车来到收银台排在结账队伍的最后,眼睁睁地看着前面的客户一个个离开。这就是一种先进先出机制,先排队的客户先行结账离开。fifo算法原理在...原创 2022-05-31 12:16:14 · 5046 阅读 · 0 评论 -
python的distutils、setuptools模块
python中安装包的方式有很多种:源码包:python setup.py install 在线安装:pip install 包名(linux) / easy_install 包名(window)python包在开发中十分常见,一般的使用套路是所有的功能做一个python模块包,打包模块,然后发布,安装使用。打包和安装包就是最常见的工作。学习中遇到distutils和setuptools两...原创 2022-12-08 01:16:26 · 4475 阅读 · 1 评论 -
网络协议和支持(一)、uuid模块
1. 背景知识: UUID: 通用唯一标识符 ( Universally Unique Identifier ), 对于所有的UUID它可以保证在空间和时间上的唯一性. 它是通过MAC地址, 时间戳, 命名空间, 随机数, 伪随机数来保证生成ID的唯一性,有着固定的大小( 128 bit ). 它的唯一性和一致性特点使得可以无需注册过程就能够产生一个新的UUID. UUID可以被用作多种...原创 2022-08-23 14:22:33 · 239 阅读 · 0 评论 -
通用操作系统服务(四)、os模块
1、函数列表序号 方法及描述 1 os.access(path, mode) 检验权限模式 2 os.chdir(path) 改变当前工作目录 3 os.chflags(path, flags) 设置路径的标记为数字标记。 4 os.chmod(path, mode) .........原创 2022-08-19 17:47:19 · 275 阅读 · 0 评论 -
数据压缩和归档(二)、zipfile
The ZIP file format is a common archive and compression standard. This module provides tools to create, read, write, append, and list a ZIP file. Any advanced use of this module will require an unders...原创 2022-08-07 20:30:13 · 582 阅读 · 0 评论 -
运行时服务(二)、warnings模块
目录警告类别警告过滤器默认警告过滤器可用函数可用的上下文管理器Python 通过调用 warnings 模块中定义的 warn() 函数来发出警告。警告消息通常用于提示用户一些错误或者过时的用法,当这些情况发生时我们不希望抛出异常或者直接退出程序。警告消息通常写入 sys.stderr,对警告的处理方式可以灵活的更改,例如忽略或者转变为为异常。警告的处理可以根据警告类别,警...原创 2022-09-11 14:42:55 · 2904 阅读 · 0 评论 -
python的yaml模块
目录一、yaml文件介绍1. yaml文件规则2. yaml文件数据结构二、python中读取yaml配置文件1. 前提条件2. 读取yaml文件数据3. yaml文件数据为键值对4. yaml文件数据为数组5. yaml文件中基本数据类型6. yaml文件中引用三、python中读取多个yaml文档1. 多个文档在一个yaml文件,使用 --- 分...原创 2022-09-11 14:42:29 · 3377 阅读 · 0 评论 -
运行时服务(三)、contextlib模块
目录常用内置模块contextlib目录contextlibwith语句@contextmanagerclosing( )contextlibcontextlib模块时关于上下文管理的,在介绍之前需要先介绍一下with语句。with语句使用python读写文件时,要特别注意使用完后关闭文件,以免占用资源。正确的关闭文件方法可以用try...finally语...原创 2022-12-10 21:18:04 · 448 阅读 · 1 评论 -
运行时服务(一)、sys模块
目录一、简介二、常用函数三、使用例子1、sys.stdout.flush()和sys.stdout.write()2、python sys.path.append()和sys.path.insert()一、简介sys模块用于提供对python解释器的相关操作。二、常用函数sys.argv 命...原创 2022-12-08 01:17:05 · 771 阅读 · 1 评论 -
并行执行(一)、threading模块
threading-更高级别的线程接口源代码:Lib/threading.py该模块在较低级别thread模块之上构建更高级别的线程接口。另请参见mutex和Queue模块。该dummy_threading模块适用于threading因thread缺失而无法使用的情况 。注意: 从Python 2.6开始,该模块提供 符合 PEP 8的别名和属性,以替换camelCase受Java...原创 2022-09-23 17:57:42 · 749 阅读 · 1 评论 -
数据类型(二)、copy模块
首先深拷贝和浅拷贝都是对象的拷贝,都会生成一个看起来相同的对象,他们本质的区别是拷贝出来的对象的地址是否和原对象一样,也就是地址的复制还是值的复制的区别。什么是可变对象,什么是不可变对象:可变对象是指,一个对象在不改变其所指向的地址的前提下,可以修改其所指向的地址中的值;不可变对象是指,一个对象所指向的地址上值是不能修改的,如果你修改了这个对象的值,那么它指向的地址就改变了,相当于你把这个...原创 2022-12-08 01:16:54 · 694 阅读 · 1 评论 -
并行处理(二)、subprocess模块
subprocess模块是python从2.4版本开始引入的模块。主要用来取代 一些旧的模块方法,如os.system、os.spawn*、os.popen*、commands.*等。subprocess通过子进程来执行外部指令,并通过input/output/error管道,获取子进程的执行的返回信息。常用方法:subprocess.call():执行命令,并返回执行状态,其中she...原创 2022-12-08 01:16:36 · 1230 阅读 · 0 评论 -
通用操作系统服务(二)、time模块
目录一、简介二、函数1.asctime([tuple]) -> string 2.clock() -> floating point number3.ctime(seconds) -> string4.gmtime([seconds]) ->(tm_year, tm_mon, tm_mday, tm_hour, tm_min, tm_...原创 2022-12-08 01:16:24 · 723 阅读 · 1 评论 -
Python的Distutils模块
目录一、Distutils简介1.1、概念和术语1.2、简单例子1.3、基本术语1.4、Distutils术语二、编写setup脚本2.1、列出整个包2.2、列出单独的模块2.3、扩展模块2.3.1、扩展名和包2.3.2、扩展的源码文件2.3.3、其他选项2.4、发布和包的关系2.5、安装脚本2.6、安装package data2.7.........原创 2022-06-25 06:28:30 · 7164 阅读 · 0 评论 -
Python的网络协议和支持(二)、urllib模块
urllib是python自带的请求库,各种功能相比较之下也是比较完备的,urllib库包含了一下四个模块:urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparse robots.txt解析模块下面是一些urllib库的使用方法。使用urllib.reque......原创 2022-08-28 16:15:34 · 1266 阅读 · 0 评论 -
Python的通用操作系统服务(三)、io模块
目录1、io概叙2、io类层次结构3、IO基类(1)class io.IOBase(2)class io.RawIOBase(3)class io.BufferedIOBase4、文本IO(1)class io.TextIOBase(2)class io.TextIOWrapper(buffer,encoding=None,errors=None,newline...原创 2022-09-11 14:40:36 · 1163 阅读 · 0 评论 -
python lxml中etree的简单应用
我正在使用来自AWS的Alexa api,但发现解析结果以获得我想要的东西很困难。alexa api返回对象树< type'lxml.etree._ElementTree'>我使用此代码来打印树from lxml import etreeroot = tree.getroot()print etree.tostring(root)我在下面得到xml<......原创 2022-07-21 17:52:58 · 1449 阅读 · 1 评论