大数据可视化问题总结1

python3.7读取定宽数据

import struct

# 读取定宽数据
def import_data(import_file):
    '''
    转换成定宽数据
    :param import_file: 输入文件路径url
    :return: 定宽数据列表
    '''
    # 定义要数据的期望显示格式
    mask = "9s14s5s"
    data = []
    with open(import_file, "r") as f:
        for line in f:
            # 将一行解析成一个元组
            fields = struct.unpack_from(mask, line.encode())
            # 清楚每个字段两侧的空白字符，并打包到一个列表中
            data.append(list([f.strip() for f in fields]))
    return data

print(import_data('./data/ch02-fixed-width-2M.data'))

报错：

Traceback (most recent call last):
  File "D:/PycharmProjects/class-code/ch02/ch02-export-07.py", line 24, in <module>
    print(import_data('./data/ch02-fixed-width-1M.data'))
  File "D:/PycharmProjects/class-code/ch02/ch02-export-07.py", line 19, in import_data
    fields = struct.unpack_from(mask, line)
TypeError: a bytes-like object is required, not 'str'

解决：
line.encode()
str通过encode()方法可以编码为指定的bytes；
反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法；

报错：

Traceback (most recent call last):
  File "D:/PycharmProjects/class-code/ch02/ch02-export-07.py", line 24, in <module>
    print(import_data('./data/ch02-fixed-width-1M.data'))
  File "D:/PycharmProjects/class-code/ch02/ch02-export-07.py", line 19, in import_data
    fields = struct.unpack_from(mask, line.encode())
struct.error: unpack_from requires a buffer of at least 28 bytes

解决：
文件数据量太大，改成10行数据运行成功
fields = struct.unpack_from(mask, line.encode())
使用struct不能读取大量数据，只能对小部分数据读取