文件的读取
- 文件读取的三步曲:打开—–操作—–关闭
eg:
f=open('/tmp/passwd') #打开文件
print(f)
content=f.read() #读取文件
print(content)
f.close() #关闭文件
- 文件读取模式的选择
r:
- 只能读,不能写;
- 读取的文件不存在,是会报错
r+:
- 可以执行读写操作
- 文件不存在,报错
- 默认情况下,从文件所在位置开始写入
w:
- 只写
- 文件不存在,不报错,会新建该文件
- 会清空文件内容
w+:
- 可读可写
- 文件不存在,不报错
- 会清空文件内容
a:
- 只写
- 文件不存在,不报错
- 不会清空文件内容
a+:
- 可读可写
- 文件不存在,不报错
- 不会清空文件内容
eg:可通过以下代码测试出这些模式的功能
f = open('/tmp/passwd1', mode='w+') #第一个参数是文件名,第二个参数是文件读取模式
print(f.read()) #若报错则不能读
# 写入的返回值是写入内容的长度;
print(f.write("123")) #若报错则不能写
f.close()
非纯文本文件的读取
如果读取图片, 音乐或者视频(非文本文件), 需要通过二进制的 方式进行读取与写入;b
- 读取二进制文件
rb:rb+:wb:wb+:ab:ab+: - 读取文本文件
rt:rt+:wt:wt+:at:at+ 等价于 r:r+:w:w+:a:a+
eg:
# 先读取二进制文件内容, 保存在变量content里面
f1 = open("frame1.png", mode='rb')
content = f1.read()
print(content)
f1.close()
f2 = open('hello.png', mode='wb')
f2.write(content)
f2.close()
文件的常用属性
# buffer缓冲区对象
print(f.buffer)
# 判断文件对象是否关闭, 已经关闭返回True
print(f.closed)
# 文件号
print(f.fileno())
# 文件对象
print(f.name)
# 查看文件对象的相关信息
print(f)
文件常用方法
- 文件读取
f.read():
默认情况读取文件的所有内容, 小的文件, 直接用read读取即可,
如果是一个大文件时(文件大小>内存大小), 不能通过read一次性读取所有内容;
f.readline(): 每次读取一行内容
f.readlines() 将读取的文件内容的每一行存到列表中
f.readable() 判断是否可读
f.read(3)类似于head -c 3 /tmp/passwd命令
f = open('/mnt/passwd', 'r+')
# # 类似于head -c 3 /tmp/passwd命令, 自己写一个和阿的命令
print(f.read(3))
print(f.readline(), end='')
print(f.readline(), end='')
# 读取文件的所有内容, 返回一个列表, 列表元素分别为文件行内容
print(f.readlines())
#对于每一行, 去掉后面的'\n' --(列表生成式, map)
# print([line.strip() for line in f.readlines()])
# print(list(map(lambda x: x.strip(), f.readlines())))
f.close()
- 文件的写入操作
f.write() 从指针所在位置写入, 写入是字符串内容
f.writelines()将列表里面的每个元素写入文件中
f.writable()查看文件是否可写
f=open("/mnt/cooffee",mode="a+")
f.write('cooffee')
li=['user'+str(i)+"\n" for i in range(10)]
f.writelines(li)
f.close()
- 指针位置操作
print(f.tell())告诉当前指针所在位置
f.seek(0, 0)将文件指针移动到文件最开始
f.seek(0,2)将指针移动到文件最后
f = open("/mnt/passwd",'w+')
print(f.tell())
f.write("cooffee")
print(f.tell())
f.seek(0,0)
print(f.tell())
f.seek(0,2)
print(f.tell())
f.close()
文件上下文管理器之with语句
上下文管理器:打开文件, 执行完with语句内容之后, 自动关闭文件对象
with open('/mnt/passwd') as f:
print("with语句里边:",f.closed)
print(f.read(5))
print('with语句外边:',f.closed) #f.closed判断文件是否关闭
with open('/mnt/passwd') as f1, \
open('/mnt/passwdBack', 'w+') as f2:
# 将第一个文件的内容写入第二个文件中;
f2.write(f1.read())
# 移动指针移动到文件最开始
f2.seek(0,0)
# 读取指针内容
print(f2.read())
# python2中只能这么实现
# with open('/tmp/passwd') as f1:
# content = f1.read()
# with open('/tmp/passwdBack', 'w+'):
# f2.write(content)
yield实现读取大文本文件
eg:1. 文件操作
1). 创建文件data.txt, 文件共100000行, 每行存放一个1~100之间的整数.
import random
with open('data.txt', mode='a+') as f:
for i in range(1000000):
f.write(str(random.randint(1,100))+'\n')
# 通过yield, 每次读取一行进行处理
def byLineReader(filename):
with open(filename) as f:
line = f.readline()
# 如果可以读取到内容, 返回改行信息
while line:
yield line
line = f.readline()
# read是一个生成器对象,# read = byLineReader('data.txt')
#1). next 读取生成器的内容
print(next(read))
print(next(read))
# # 2). 通过for循环
# # for item in read:
# # print(item)
文件对象的迭代
文件对象是可以for循环遍历的, 默认遍历的内容为每一行的内容.是节省内存空间的。
from collections import Iterable
f = open('data.txt')
print(isinstance(f, Iterable))
for i, item in enumerate(f):
if i == 3:
break
print(i, item)
f.close()
os之环境变量函数
import os
# 1). 返回操作系统类型, 值为posix,是Linux操作系统, 值为nt, 是windows操作系统
print(os.name)
# 2). 操作系统的详细信息
info = os.uname()
print(info)
# 3). 系统环境变量
print(os.environ)
# 4). 通过key值获取环境变量对应的value值
print(os.environ.get('PATH'))
print(os.getenv('PATH'))
os之文件操作函数
import os
# 1. 判断是否为绝对路径
print(os.path.isabs('/tme/hello'))
print(os.path.isabs('hello'))
# 2. 生成绝对路径
print(os.path.abspath("/tmp/hello"))
print(os.path.abspath('hello.peng'))
# 3.将目录与文件拼接
print(os.path.join('/home/kiosk','hello.peng'))
print(os.path.join(os.path.abspath('.'),'hello.peng')) # 返回一个绝对路径: 当前目录的绝对路径+ 文件名/目录名
# 4.获取目录名或者文件名
filename='/home/kiosk/Desktop/python1/day9-1/hello.peng'
print(os.path.basename(filename))
print(os.path.dirname(filename))
# 5. 创建目录/删除目录
os.mkdir('floating')
os.makedirs('floating/films')
#os.rmdir('floating')
# 6. 创建文件/删除文件
os.mknod('coffee.txt')
#os.remove("cooffee.txt")
# 7. 文件重命名(mv)
os.rename("data.txt",'data1.txt')
# 8. 判断文件或者目录是否存在
print(os.path.exists('floating'))
print(os.path.exists('data1.txt'))
# 9. 分离后缀名和文件名
print(os.path.splitext('hello.peng'))
# 10. 将目录名和文件名分离
print(os.path.split("/tmp/hello/hello.peng"))
遍历指定文件目录下的所有内容
import os
from os.path import join
for root, dirs, files in os.walk('/var/log'):
print(root, dirs, files)
for name in files:
print(join(root, name))
sys模块的常用方法
import sys
# 返回一个列表, 第一个元素为脚本名
print(sys.argv)
# 如果获取脚本传入的第n个参数, sys.argv[n]
Counter对文件的中重复字符的统计(大文件)
- 生成一个大文件ips.txt,要求120000行,每行随机为172.25.254.0/24段的ip
- 读取ips。txt文件统计这个文件中ip出现频率排前10的ip
import random
from collections import Counter
def create_file(filename='ips.txt'):
ips=('172.25.254.'+str(random.randint(1,254)) for i in range(120000))
with open(filename,'w')as f:
for ip in ips:
f.write(ip+'\n')
def sort_by_ip_count(filename='ips.txt',count=10):
with open(filename)as f:
ipcount=Counter(f)
return [ip[0].strip() for ip in ipcount.most_common(count)]
create_file()
print(sort_by_ip_count('ips.txt',10))
批量建文件及修改后缀名
1. 在当前目录新建目录img, 里面包含100个文件, 100个文件名各不相同(X4G5.png)
2. 将当前img目录所有以.png结尾的后缀名改为.jpg.
import optparse
import os
import random
import string
from os.path import exists, splitext, join
def gen_code(len=4):
li=random.sample(string.ascii_letters+string.digits,len) # 随机生成4位的文件名各不相同
return ''.join(li) # 将列表元素拼接为字符串
def create_files():
li={gen_code()for i in range(100)} # 随机生成100个验证码
print(li)
for name in li:
os.mknod('floating/'+name+'.png')
from collections import Iterable
import sys
def modify_suffix(dirname,old_suffix,new_suffix):
'''
:param dirname:操作的目录
:param old_suffix:原先的后缀名
:param new_suffix:新的后缀名
:return:
'''
# 1. 判断查找的目录是否存在, 如果不存在, 显示报错
if exists(dirname):
# 2. 找出所有以old_suffix(.png)结尾的
pengfiles=filter(lambda filename:filename.endswith(old_suffix),os.listdir(dirname))
# 3. 将文件名和后缀名分开, 留下所有的文件名
basefiles=[splitext(filename)[0] for filename in pengfiles]
# 4. 文件重命名
for filename in basefiles: # 需要加上目录名
oldname=join(dirname,filename+old_suffix)
newname=join(dirname,filename+new_suffix)
os.rename(oldname,newname)
print("%s重命名%s成功" %(oldname,newname))
else:
print("%s不存在" %(dirname))
# 如果该脚本没有被调用, 则执行下面的代码;
if __name__=='__main__':
gen_code()
create_files()
modify_suffix('floating','.png','.jpg')