python对csv文件的操作

一.pandas模块

读取csv文件:

1. 读取csv基本信息, 打印行列信息和量纲信息

"""
1. 读取csv基本信息, 打印行列信息和量纲信息
"""
import pandas as pd

# 以逗号为分隔符, 指定第一行为表头
df = pd.read_csv('高校信息.csv')

# 打印行列信息
print(df.info())

# 打印数字类型的量纲统计信息
print(df.describe())

2. 读取 csv 数据信息, 返回 DataFrame 类型数据, 缩略式的展示

"""
2. 读取 csv 数据信息, 返回 DataFrame 类型数据, 缩略式的展示
"""
import pandas as pd

# 以逗号为分隔符, 不指定表头, 则以数字作为表头打印
df = pd.read_csv('高校信息.csv', sep=',', header=None)

print(df)

3. 读取 csv 数据信息, 显示所有行列

"""
3. 读取 csv 数据信息, 显示所有行列
"""
import pandas as pd

# 以逗号为分隔符, 指定第一行为表头
df = pd.read_csv('高校信息.csv', sep=',', header=0)

print(type(df.to_string()))

4. 读取前几行数据

"""
4. 读取前几行数据
"""
import pandas as pd

# 以逗号为分隔符, 指定第一行为表头
df = pd.read_csv('高校信息.csv', sep=',', header=0)

# 读取前10行数据
print(df.head(10).to_string())

5. 读取末尾几行数据

"""
5. 读取末尾几行数据
"""
import pandas as pd

# 以逗号为分隔符, 指定第一行为表头
df = pd.read_csv('高校信息.csv', sep=',', header=0)

# 读取前10行数据, 不填则默认为5行
print(df.tail(10).to_string())

6. 以指定列为列标签

"""
6. 以指定列为列标签
"""
import pandas as pd

# 以逗号为分隔符, 指定第一行为表头, 指定 院校名称为 列标签
df = pd.read_csv('高校信息.csv', sep=',', header=0, index_col='院校名称')

# 读取前10行数据
print(df.head(5))

# 以逗号为分隔符, 指定第一行为表头, 指定 院校名称和院校类型 为列标签
df = pd.read_csv('高校信息.csv', sep=',', header=0, index_col=['院校名称', '院校类型'])

# 读取前10行数据
print(df.head(5))

7. 读取 csv 数据信息, 并指定类型, 防止出现将整形数字转为浮点型

"""
7. 读取 csv 数据信息, 并指定类型, 可以防止出现将整形数字转为浮点型
"""
import pandas as pd

# 以指定列代替索引, 这样就可以不打印前面的索引数字了, 但是这时必须指定表头
df = pd.read_csv('高校信息.csv', sep=',', header=0, index_col='序号', dtype=object)

print(df.head(10))

8. 读取 csv 数据信息, 并遍历数据

"""
8. 读取 csv 数据信息, 并遍历数据
"""
import pandas as pd


# 以逗号为分隔符, 不指定表头, 则实际表头参与遍历, 指定后, 则不参与遍历
# 这样打印会打印前面的索引, 对于没有id的csv表格, 这个很好用
df = pd.read_csv('高校信息.csv', sep=',', header=None)

for i in df.itertuples():
    print(list(i))

9. 读取 csv 数据信息, 并遍历数据, 不打印索引

"""
9. 读取 csv 数据信息, 并遍历数据, 不打印索引
"""
import pandas as pd

# 以指定列代替索引, 这样就可以不打印前面的索引数字了, 但是这时必须指定表头
df = pd.read_csv('高校信息.csv', sep=',', header=0, index_col='序号')

for i in df.itertuples():
    print(list(i))

10. 读取 csv 数据信息, 将指定列转为list

"""
10. 读取 csv 数据信息, 将指定列转为list
"""
import pandas as pd
import numpy as np

# 以逗号为分隔符, 不指定表头, 则以数字作为表头打印
df = pd.read_csv('高校信息.csv', sep=',', header=0)

# print(np.array(df["院校名称"]).tolist())

print(np.array(df[["院校名称", "办学类型"]]).tolist())

11. 读取 csv 数据信息, 打印指定列

"""
11. 读取 csv 数据信息, 打印指定列
"""
import pandas as pd

# usecols 可以读取指定列, 但是如果指定了某一字段为列索引, 该列必须出现在 usecols 中
df = pd.read_csv('高校信息.csv', sep=',', header=0, index_col='序号', usecols=[0, 1])

for i in df.itertuples():
    print(list(i))

12. 读取 csv 数据信息, 对指定列做统计

"""
12. 读取 csv 数据信息, 对指定列做统计
"""
import pandas as pd
import numpy as np

# 以逗号为分隔符, 不指定表头, 则以数字作为表头打印
df = pd.read_csv('高校信息.csv', sep=',', header=0)

print(df.info())
# print(np.array(df["院校名称"]).tolist())

print(np.array(df[["院校名称", "办学类型"]]).tolist())

写入csv文件:

1. 写入 csv 数据信息, 覆盖老数据

"""
1. 写入 csv 数据信息, 覆盖老数据
"""
import pandas as pd

df = pd.read_csv('高校信息.csv', sep=',', header=0, dtype=object)

header = df.head(10)

# index = None 参数为去掉列索引
header.to_csv('test.csv', index=None)

2. 写入 csv 数据信息, 追加形式写数据

"""
2. 写入 csv 数据信息, 追加形式写数据
"""
import pandas as pd

df = pd.read_csv('高校信息.csv', sep=',', header=0, dtype=object)

header = df.head(10)

# mode = "a" 以追加的形式写数据
header.to_csv('test.csv', index=None, mode='a')

3. 将 list 数据写入 csv, 每个list为每个列数据

"""
3. 将 list 数据写入 csv, 每个list为每个列数据

{
  "name": ["小红","小王","小张","小李"],
  "sex": ["女","男","男","女"],
  "age": [18,16,17,20]
}
"""
from pandas.core.frame import DataFrame

name = ["小红", "小王", "小张", "小李"]
sex = ["女", "男", "男", "女"]
age = [18, 16, 17, 20]
student = {"name": name, "sex": sex, "age": age}

# 将 json 转为 pandas 中的 DataFrame 类型
data = DataFrame(student)

data.to_csv('test.csv', index=None)

4. 将 list 写入 csv, 每个list的个数, 可以不相等

"""
4. 将 list 数据写入 csv, 每个list为每行数据, 每个list的个数, 可以不相等
"""
from pandas.core.frame import DataFrame

student = [["姓名", "性别", "年龄"],
           ["小红", "女", 18],
           ["小王", "男", 16],
           ["小张", "男", 17],
           ["小李", "女"]]

# 将 list 转为 pandas 中的 DataFrame 类型
data = DataFrame(student)

# index=None, header=None 表示不要列与行索引
data.to_csv('test.csv', index=None, header=None)

# index=None, header=0 表示指定第一行为表头
data.to_csv('test.csv', index=None, header=0)

二.csv模块

1.按行读取csv

"""
按行读取csv
"""
import csv

# 当出现比较大的字段时
csv.field_size_limit(500 * 1024 * 1024)

csv_file = open("高校信息.csv", encoding='utf-8')
csv_reader_lines = csv.reader(csv_file)


for i in csv_reader_lines:
    print(i)

2.按行写入csv

import csv

file_object = open("test.csv", 'w', newline='')

writer = csv.writer(file_object)

data_list = [["a", "b", "c"], ["d", "e", "f", "g"], ["h", "i", "j", "k", "l"]]

for row in data_list:
    writer.writerow(row)

file_object.close()