金融数据_数据预处理

最新推荐文章于 2023-03-22 08:09:20 发布

学术界渣渣，渣渣界大佬

最新推荐文章于 2023-03-22 08:09:20 发布

阅读量746

点赞数

分类专栏：金融数据文章标签：数据分析人工智能可视化机器学习 python

本文链接：https://blog.csdn.net/sinat_31405379/article/details/108672346

版权

该博客详细介绍了金融数据预处理的步骤，包括理解数据集规模、检查缺失值和唯一值，以及深入分析数据类型。对于类别型和数值型数据，作者探讨了其在分析中的处理方式，如数值型数据的分箱操作。此外，还强调了数据可视化在数据分析中的重要性，以助于更好地理解数据特征和潜在模式。

摘要由CSDN通过智能技术生成

数据总体了解：

读取数据集并了解数据集大小，原始特征维度；

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import datetime
import warnings
warnings.filterwarnings('ignore')
data_train = pd.read_csv('train.csv', sep=',')
data_train

在这里插入图片描述

通过info熟悉数据类型；

data_train.info()

粗略查看数据集中各特征基本统计量；

data_train.describe()

在这里插入图片描述

缺失值和唯一值：

查看数据缺失值情况
以比例的形式查看空缺值占比，由于属性较多，仅显示有缺失值的项。

miss = data_train.isnull().sum()/len(data_train)
miss[miss>0].sort_values(ascending = False)

查看唯一值特征情况

# 查看训练集测试集中特征属性只有一值的特征
one_value_fea = [col for col in data_train.columns if data_train[col].nunique() <= 1]
one_value_fea_test = [col for col in data_test_a.columns if data_test_a[col].nunique() <= 1]
one_value_fea
one_value_fea_test