首先看这样的数据。
这是kaggle上的关于员工离职的数据,现在要根据满意度,工作项目, 薪水等指标判断一个员工是否会离职。在进行机器学习之前,我们首先要进行数据的清理及预处理。
数据下载
https://github.com/ardendertat/Applied-Deep-Learning-with-Keras/blob/master/data/HR.csv
1、查看统计数据
csv文件读取
拿到数据以后,一般都要先看看数据长啥样,有多大,都有什么特征,用pandas查看这些是非常方便的。针对本例子中的csv文件, 我们使用read_csv函数来读取, 读进来之后是pandas中的DataFrame格式。
import numpy as np
import pandas as pd
# 使用read_csv读取数据
hr = pd.read_csv("HR.csv")
但有一点要注意,读取的时候要先看一下csv文件中格式。主要看两点,一是第一列(也有可能是前几列)是不是索引,二是看第一行是数据还是feature的名称。 read_csv方法默认会将第一行当成feature来解析。
# 如果第一列是索引
pd.read_csv('data.csv', index_col=0)
# 如果是纯数据没有feature的话
pd.read_csv('data.csv', header=None)
实际上如果你用的是ipython,可以直接输入 pd.read_csv? 来查看这个函数的文档,非常方便。
查看数据
# 查看数据的行数与列书, 一般来说行代表样本数, 列代表feature数
hr.shape
# 查看数据的前5行
hr.head()
# 查看每一列的计数及数据类型等信息
hr.info()
# 查看统计信息
hr.d