一、获取要分析的数据
最近发现一个数据集搜索引擎,里面有很多数据集资源。界面设计小清新,看起来挺舒服的。通过关键词搜索,也能找到相关的数据集。如果找不到,下面也提供很多站点,可以扩大寻找范围。
https://www.5radar.com/ 专注于发现数据集的引擎
二、 查看数据整体情况
import pandas as pd
import os
#获取文件目录
print(os.path.abspath(‘meteorological-data.xlsx’)) #获取当前目录文件下的工作目录路径
df=pd.read_excel(‘/Users/Desktop/meteorological-data.xlsx’)
#先查看 -维度层面
#1、 先查看-维度层面
df.head() #查看DataFrame 对象的前n行
df.shape #查看 行数和列数
df.info() #查看 索引、数据类型
2、查看单个维度层面数据是否正常
print(df[‘Item’].unique()) # 返回的是去重的枚举值 比如: ACT、TGT
print(df[‘Item’].nunique()) # 返回的是去重的枚举值的 数量 比如:2
#3、查看-建议一组使用 :单个值如何统计枚举数据 ? 所有值如何统计枚举数据?
df.Item.value_counts(dropna=False) # 总数10行 ,其中 ACT是6行,TGT是4行
df.apply(pd.Series.value_counts) # 这个计数统计比较厉害
#4、先查看重复行 、删除重复行
df.duplicated() #返回 True、FALSE 不太好用
#5、不改变原始数据,需要重新导出保存一份数据
dfdropdu=df.drop_duplicates()
dfdropdu.to_excel(‘/Users/Desktop/meteorological-data-new.xlsx’)
再查看-数据层面
df.describe() #查看数值类型的汇总统计 (count、mean、std、min、25%、50%、75%、max)