python爬虫数据持久化

数据持久化

1. 文件操作

计算机的文件，就是存储在某种 长期储存设备 上的一段 数据

长期存储设备包括：硬盘、U 盘、移动硬盘、光盘…

文本文件和二进制文件

• 文本文件
  • 可以使用 文本编辑软件 查看
  • 本质上还是二进制文件
  • 例如：python 的源程序
• 二进制文件
  • 保存的内容 不是给人直接阅读的，而是 提供给其他软件使用的
  • 例如：图片文件、音频文件、视频文件等等
  • 二进制文件不能使用 文本编辑软件 查看

1.1 文件的基本操作

操作文件的函数/方法

在 Python 中要操作文件需要记住 1 个函数和 3 个方法

序号	函数/方法	说明
01	open	打开文件，并且返回文件操作对象
02	read	将文件内容读取到内存
03	write	将指定内容写入文件
04	close	关闭文件

• open 函数负责打开文件，并且返回文件对象
• read/write/close 三个方法都需要通过 文件对象 来调用

1.1.1 读取文件

open

函数的第一个参数是要打开的文件名（文件名区分大小写）

• 如果文件 存在，返回 文件操作对象

• 如果文件 不存在，会 抛出异常

• read 方法可以一次性 读入 并 返回 文件的 所有内容

• close方法负责关闭文件

  • 如果 忘记关闭文件，会造成系统资源消耗，而且会影响到后续对文件的访问

• 注意：read 方法执行后，会把 文件指针 移动到 文件的末尾

# 1. 打开 - 文件名需要注意大小写
file = open("README")

# 2. 读取
text = file.read()
print(text)

# 3. 关闭
file.close()

1.1.2 打开文件的方式

• open 函数默认以 只读方式 打开文件，并且返回文件对象

语法如下：

f = open("文件名", "访问方式")

访问方式	说明
r	以只读方式打开文件。文件的指针将会放在文件的开头，这是默认模式。如果文件不存在，抛出异常
w	以只写方式打开文件。如果文件存在会被覆盖。如果文件不存在，创建新文件
a	以追加方式打开文件。如果该文件已存在，文件指针将会放在文件的结尾。如果文件不存在，创建新文件进行写入
r+	以读写方式打开文件。文件的指针将会放在文件的开头。如果文件不存在，抛出异常
w+	以读写方式打开文件。如果文件存在会被覆盖。如果文件不存在，创建新文件
a+	以读写方式打开文件。如果该文件已存在，文件指针将会放在文件的结尾。如果文件不存在，创建新文件进行写入

提示

• 频繁的移动文件指针，会影响文件的读写效率，开发中更多的时候会以 只读、只写 的方式来操作文件

写入文件示例

# 打开文件
f = open("README", "w")

f.write("hello python！\n")
f.write("今天天气真好")

# 关闭文件
f.close()

1.1.3 按行读取文件内容

read 方法默认会把文件的 所有内容 一次性读取到内存

如果文件太大，对内存的占用会非常严重

readline 方法

readline 方法可以一次读取一行内容

方法执行后，会把 文件指针 移动到下一行，准备再次读取

读取大文件的正确姿势

1.2目录操作

• 在 终端 / 文件浏览器、 中可以执行常规的 文件 / 目录 管理操作，例如：

  • 创建、重命名、删除、改变路径、查看目录内容、……

• 在 Python 中，如果希望通过程序实现上述功能，需要导入 os 模块

1.2.1 文件操作

序号	方法名	说明	示例
01	rename	重命名文件	os.rename(源文件名, 目标文件名)
02	remove	删除文件	os.remove(文件名)

1.2.2 目录操作

序号	方法名	说明	示例
01	listdir	目录列表	os.listdir(目录名)
02	mkdir	创建目录	os.mkdir(目录名)
03	rmdir	删除目录	os.rmdir(目录名)
04	getcwd	获取当前目录	os.getcwd()
05	chdir	修改工作目录	os.chdir(目标目录)
06	path.isdir	判断是否是文件	os.path.isdir(文件路径)

提示：文件或者目录操作都支持 相对路径 和 绝对路径

2. excel

openpyxl 是一个Python库，用于读取/写入Excel 2010 xlsx / xlsm / xltx / xltm文件。

它的诞生是因为缺少可从Python本地读取/写入Office Open XML格式的库。

Excel 文件三个对象

workbook： 工作簿，一个excel文件包含多个sheet。
sheet：工作表，一个workbook有多个，表名识别，如“sheet1”，“sheet2”等。
cell： 单元格，存储数据对象

1、openpyxl 读写单元格时，单元格的坐标位置起始值是（1，1），即下标最小值为1，否则报错！

2、openpyxl 支持直接横纵坐标访问，如 A1，B2…

# 模块安装
pip install openpyxl

2.1 创建工作簿

只需导入Workbook 对象就可以创建工作簿

# -*- coding: utf-8 -*-
from openpyxl import Workbook
# 创建工作簿
wb = Workbook()

如果想写入数据就需要获取一张表

表明创建时会自动命名。它们按顺序编号（Sheet，Sheet1，Sheet2等）。可以随时通过Worksheet.title属性更改此名称：

# 创建一张表
sheet = wb.active
sheet.title = '表1'

# 创建新表
sheet2 = wb.create_sheet('表2')

# 通过表名获取表
sheet1 = wb['表1']

2.2 写入操作

现在我们知道了如何获取工作表，