最在参加了一个机器学习的竞赛,又开始频繁的使用pandas做数据的处理。发现了一些之前没有发现的pandas用法。在这里做一个总结, 也算是学习笔记吧。本笔记大部分都会以下面的数据作为例子。另外,推荐大家使用ipython来查看及处理数据。
首先看这样的数据。
image.png
这是kaggle上的关于员工离职的数据,现在要根据满意度,工作项目, 薪水等指标判断一个员工是否会离职。 在进行机器学习之前,我们首先要进行数据的清理及预处理。数据下载
1. 查看统计数据
csv文件读取
拿到数据以后,一般都要先看看数据长啥样,有多大,都有什么特征,用pandas查看这些是非常方便的。针对本例子中的csv文件, 我们使用read_csv函数来读取, 读进来之后是pandas中的DataFrame格式。
import numpy as np
import pandas as pd
# 使用read_csv读取数据
hr = pd.read_csv("HR.csv")
但有一点要注意,读取的时候要先看一下csv文件中格式。主要看两点,一是第一列(也有可能是前几列)是不是索引,二是看第一行是数据还是feature的名称。 read_csv方法默认会将第一行当成feature来解析。
# 如果第一列是索引
pd.read_csv('data.csv', index_col=0)
# 如果是纯数据没有featu