Python 读取csv文件，以list存储，转Numpy输出

一、文章目的

• 根据个人目前进行的实验，提取其中一部分关于csv数据集读取和使用的方法
  • 关于utf-8 参考百度百科
  • 关于latin-1参考百度百科
  • 后续的数据集划分code
    • 待更新

---

二、编码方式 

1.1 encoding = ’‘utf-8

• 常用的编码形式，包含的字符范围较广

from csv import reader

def pre_process(file):
    '''数据预处理函数'''
    with open(file, 'r', encoding='utf-8') as f:
        '''数据按行读取'''
        data = list(reader(f))
    '''转化为numpy数组'''
    data = np.array(data)
    
    return data

1.2 encoding = ’latin-1‘ 

• 解决部分数据格式无法以 'utf-8' 编码形式转换的错误

from csv import reader

def pre_process(file):
    '''数据预处理函数'''
    with open(file, 'r',encoding='latin-1') as f:
        '''数据按行读取'''
        data = list(reader(f))
    '''转化为numpy数组'''
    data = np.array(data)
    
    return data

1.3 特殊情况

• 若采用情况2的编码 'latin-1' 仍然无法使用，可以增加 errors='ignore'

from csv import reader

def pre_process(file):
    '''数据预处理函数'''
    with open(file, 'r', encoding='utf-8', errors='ignore') as f:
        '''数据按行读取'''
        data = list(reader(f))
    '''转化为numpy数组'''
    data = np.array(data)
    
    return data

三、 函数调用实例

2.1 调用举例

• 根据代码所在位置，给定csv文件位置，进行调用

'''给定数据集'''
file = 'csv/abc.csv'
data = pre_process(file)

四、完整代码

• 此处代码文件xxx.py 需要自己对齐 file 路径使用

from csv import reader

def pre_process(file):
    '''数据预处理函数'''
    with open(file, 'r',encoding='latin-1') as f:
        '''数据按行读取'''
        data = list(reader(f))
    '''转化为numpy数组'''
    data = np.array(data)
    
    return data

'''给定数据集'''
file = 'csv/abc.csv'
data = pre_process(file)