现实的创作来源于生活的灵感!
项目引入
昨天突然发现有一个比较头疼的问题,有一份数据是某一个学校的寝室数据,有不同的维度的分类,总的数据大概有 4000 数据,需要进行分类,然后按照不同分类维度进行表格制作,最后生成 8 个文件夹,每个文件夹里面有 24 个表格,这个就是我们这一个程序的最终实现功能。如果我们用 Excel 筛选需要点很多次,而且需要几个人的配合工作,这样就比较的费力,那么作为数据分析的 Python 神器,可不可以解决这个问题了,答案是当然可以!
项目思路
1.首先对这个大量的数据进行导入,用 CSV 这个库,然后按照 Python 的对象进行写入和解析,最后存储在 pycharm 运行内存空间,方便我们下一步操作。2.导入之后我们就需要分类了,这个时候需要我们写一个算法了,我把它叫做“字典迭代算法”当然是我自己命名的,这个里面涉及到很多的坑,最后我们需要把这个功能封装起来。3.数据保存也就是,CSV 文件的写入数据,最后利用 Python 的内置模块 OS 进行文件夹的分类创建,最后实现保存数据,这个时候我们还要解决 CSV 文件的中文乱码问题。
难点
1.解析数据之后如何分割数据,进行保存 2.写入文件的时候如何解决乱码问题 3.怎样去结构化我们的代码程序
代码介绍
大概的思路就是这样,下面我们来具体看看这个程序的功能实现的功能步骤
解析数据
# 1.解析CSV海量数据,用字典保存在内存空间
def csv_data():
global dormitory_data
import csv
dormitory_data = []
with open(r"寝室数据.csv", encoding='utf-8-sig') as file:#将你的CSV文件和该程序文件放在一个文件夹下面
f_csv = csv.reader(file)#读取文件里面的每一行数据,转换为列表赋值给新的变量
header = next(f_csv)#利用迭代的方法,直接取出表头行(标题行),更新f_csv的数据,去除了标题行
for row in f_csv:
data = {}
for index in range(7):
data[header[index]] = row[index]
dormitory_data.append(data)