python读取csv数据代码_数据开发_Python读取CSV文件和Json文件_csv库和json库

1.文件处理

使用os模块

Python3的系统标准库pathlib模块的 Path 对路径的操作会更简单

在pathlib里一切都是面向对象的，只需要调用指定的方法就可以了

2.时间格式处理和进制

二进制 八进制 十进制 十六进制

3.csv文件和Json文件的读取

csv 和 json

代码示例

#!/usr/bin/env python

# -*-coding:utf-8-*-

# @file csv_input.py

from pathlib import Path

import csv

import datetime

if __name__ == "__main__":

input_file = r'F:\PythonProject\Python\data\input\TestData.txt'

# 文件验证工作

p = Path(input_file)

print("存在", p.exists(), "是文件", p.is_file())

# print(p.owner(), p.group()) Path.owner() is unsupported on this system

stat_info = p.stat()

print(stat_info)

# bin() 二进制0b、八进制0o和十六进制0x

print(' Size:', stat_info.st_size)

print(' Permissions:', hex(stat_info.st_mode))

print(' Owner:', oct(stat_info.st_uid))

print(' Device:', bin(stat_info.st_dev))

print("时间戳到时间 通常该数值会被限制在 1970 至 2038 年之间")

base_f = datetime.datetime.utcfromtimestamp(stat_info.st_ctime)

print(type(base_f))

# strptime(date_string, format) 将string 变为格式format 的 datetime

# strftime # Formatting a datetime 返回的是string

print(base_f.strftime("%A, %d. %B %Y %I:%M%p"))

print(base_f.strftime("%Y/%m/%d %H:%M:%S"))

print(' Create:', datetime.datetime.fromtimestamp(stat_info.st_ctime))

print(' Last Modified Time:', datetime.datetime.fromtimestamp(stat_info.st_mtime))

print(' Last Accessed Time:', datetime.datetime.fromtimestamp(stat_info.st_atime))

# 文件读取操作

with open(input_file, mode='r', encoding='utf-8') as f:

f_csv = csv.reader(f, delimiter='\t')

headers = next(f_csv)

print(headers)

# csv产生的数据都是字符串类型的，它不会做任何其他类型的转换

# 数据类型转换 数据共有4列

col_types = [str, float, int, str]

for row in f_csv:

# 数据类型转换 本语句涉及 for in 的循环 zip函数的使用 ，生成器 以及tuple() 将生成器转换为元组

# [表达式 for 迭代变量 in 可迭代对象 [if 条件表达式] ]

# 圆括号-生成器表达式 ()

# tuple() 元组 其中生成器对象传入到list、set、dict等函数中作为构造参数

row = tuple(data_convert_type(data_value) for data_convert_type, data_value in zip(col_types, row))

print(row)

#读取Json文件

import json

def get_job_json_info(inputfile):

with open(inputfile, mode='r', encoding='utf-8') as f:

# 文件而不是字符串 Reading data back

data_dict = json.load(f)

#字典的形式，读取数据

test_id = str(data_dict.get("testId"))

test_cnt = str(data_dict.get("retryCnt"))

test_delay_time = str(data_dict.get("retryDelayTime"))

task_table_ls = (test_cnt, test_delay_time, test_id)

return task_table_ls

# 读取文件-生成器的方式

def read_file(fpath):

BLOCK_SIZE = 1024

with open(fpath, 'rb') as f:

while True:

block = f.read(BLOCK_SIZE)

if block:

yield block

else:

return

# yield 是一个类似 return 的关键字，只是这个函数返回的是个生成器

生成器：

生成器函数 作为创建迭代对象的又一种方式。

一切能被yield语句完成的东西也能被next方法完成

参考 ：

Python之pathlib模块的使用 https://www.cnblogs.com/ygbh/articles/12762285.html

datetime --- 基本的日期和时间类型 https://docs.python.org/zh-cn/3/library/datetime.html