记录自己常用到的一些功能,方便以后查找,持续更新…
目录
pandas Resample
时序数据等时间间隔重采样,index必须是datetime类型
re_data = data.resample('60S').mean()
# '60S'表示每60秒重采一个数据,mean()表示用均值填充
找出dataframe中空值的位置
location = df[df.isnull().values==True].index
dataframe中删除全为Nan的列
df = dataframe.loc[:,dataframe.notnull().sum()!=0]
同理可得删除全为Nan的行
dataframe读取和保存mat文件
from scipy.io import loadmat,savemat
mat = loadmat(path)['key'] #读取mat
savemat('savemat.mat', {'df':df.values}) #保存mat,df为dataframe类型
dataframe添加columns
col = ['A','B',...]
df.columns = col
统计每一列缺失值并排序
sortindex = np.argsort(dataframe.isnull().sum(axis=0)).values#找出数据集中缺失值从小到大的特征的排序
print(sortindex)
#例如:输出3 2 5 4 1 0
#说明缺失值最少的是第3列,接着是第2列,...,第0列缺失值最多