2024年最新灵魂拷问：读取 excel 测试数据真的慢吗？(2)，面试软件测试系统架构-CSDN博客

本文链接：https://blog.csdn.net/2401_84558831/article/details/138577925

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

而且在 Python 语言当中，内置了 CSV 格式的处理模块，用法非常简单，没有太多额外的学习成本。

import csv

def test_insert_1000_lines_data():    lines = 1000    with open('1000lines.csv', 'w', newline='') as f:        csv_writer = csv.writer(f)        for i in range(lines):            data = (i, f'name{i}', f'http://www.example.com/{i}')            csv_writer.writerow(data)          def test_read_1000_lines_data():    with open('1000lines.csv', newline='') as f:        csv_reader = csv.reader(f)        for row in csv_reader:            print(row)

分别对 1000 行、5 万行和 10 万行数据进行插入和读取操作，CSV 的速度都比 Excel 要快一个量级。

	1000 行	5 万行	10 万行
插入时间	0.08s	0.09s	0.17s
读取时间	0.02s	0.04s	0.09s

对于海量数据处理，CSV 比 Excel 要快很多，代码编写也更简单。

但是，使用 CSV 格式一定要注意对逗号的处理。

在 CSV 当中，每一行的数据默认是用逗号分割的，如果你有一个数据当中本身就包含了逗号，一定要记得把这个数据用双引号包裹。

而且，CSV 支持的数据格式非常有限，数据被读取出来后都被当成字符串，需要自己添加额外的解析操作。

id,17,18,“{‘name’: ‘yuz’, ‘age’: 11}”

现在我也找了很多测试的朋友，做了一个分享技术的交流群，共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源，没人解答问题，坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化，性能，安全，测试开发等等方面有一定建树的技术大牛
分享他们的经验，还会分享很多直播讲座和技术沙龙
可以免费学习！划重点！开源的！！！
qq群号：110685036

***03、***最后，看看 YAML 表现怎么样？

YAML 的优点在于丰富的数据类型支持。无论是元组、字典、数字、布尔类型都能支持，并且被 python 语言轻松解析成对应的 python 数据类型。

import yaml

def test_insert_1000_lines_data():    lines = 1000    with open('1000lines.yaml', 'w') as f:        all_data = [{"id": i,                     "name": f"name{i}",                     "data": {"username": "yuz", "passoword": 123456}}                    for i in range(lines)]        yaml.safe_dump(all_data, f)

def test_read_1000_lines_data():    with open('1000lines.yaml',              encoding='utf-8') as f:        data = yaml.load(f, Loader=yaml.SafeLoader

在少量数据的解析上，YAML 会非常的方便。但是一旦数据增加到上万组，YAML 的解析速度会非常非常慢。当数据达到 10 万行的时候，读取速度竟然接近 1 分钟。