python处理大型csv文件——pandas数据分析（含有毫秒的时间类型转换，根据需求显示年月日，显示全部行和列，某列频数统计）

最新推荐文章于 2024-08-13 11:20:27 发布

Yidian_

最新推荐文章于 2024-08-13 11:20:27 发布

阅读量1.6k

点赞数 1

分类专栏：数据分析基础知识

本文链接：https://blog.csdn.net/Yidian_/article/details/104562403

版权

本文介绍了如何使用Python的pandas库处理大型CSV文件，包括分块读取数据，将时间列转换为datetime类型，只显示年月，并通过设置选项显示所有行和列。此外，还展示了对某一列的频数统计和结果的可视化。代码中包含了设置显示选项、重命名列以及进行频数统计和可视化的方法。

摘要由CSDN通过智能技术生成

打开一个数据集，df=pd.read_csv(‘filename.csv’) #数据集较大时候用分块读取数据方法chunksize=1000,iterator=True
数据集内容为：
A B C D
0 ID_1 ID_2 2015-12-23 12:15:20.799 23
1
.
.
.
查看其中的数据格式print(df.dtypes),C列本是时间，但显示为object类型
A object
B object
C object
D int64
dtype: object

所以要转换为datetime类型,df[‘C’] = pd.to_datetime(df[‘C’]) prinr(df.dtypes)
A object
B object
C datetime64[ns]
D int64
dtype: object

查看数据集中年月日的情况 print(df[‘C’].dt.year.unique(),df[‘C’].dt.month.unique(),df[‘C’].dt.day.unique())

转化时间为只显示年-月:df[‘C’] = df[‘C’].map(lambda x: x.strftime(’%Y-%m’))#’%Y-%m-%d %H:%M:%S.%f’ 年-月-日时：分：秒.毫秒
index C
941750 2016-03
941751 2016-03
941752 2016-03

完整代码：
import time
from datetime import