Pandas学习笔记

• pandas 读取 csv 文件

import pandas as pd
test_df = pd.read_csv("./test.csv")  # 将文件csv文件全部读取
test_df = pd.read_csv(names=['a_from_lng','a_from_lat','b_from_lng','b_from_lat',],skiprows=10)  # 读取这四列数据，并跳过前面10行

• 查看pandas的列名

test_df.columns

• pandas 查看某一列的全部数据或部分数据

test_df['a_from_lng']  # 查看该列全部数据
test_df['a_from_lng'].head()  # 查看该列前面10条数据
test_df['a_from_lng'].head(100)  # 查看该列前面100条数据
test_df['a_from_lng'].tail()  # 查看该列最后10条数据
test_df['a_from_lng'].tail(100)  # 该看该列最后100条数据

• 查看所有列或者制定列的统计信息

test_df.describe()  # 所有列
test_df['a_from_lng'].describe()  # 指定列

• 利用前面几列的信息生成新的列

def distance(x1, y1, x2, y2):
    return np.sqrt((x1-x2)**2+(y1-y2)**2)
test_df['start_distance_gap'] = map(lambda x1, y1, x2, y2: distance(x1, y1, x2, y2), \
    test_df['a_from_lng'], test_df['a_from_lat'], test_df['b_from_lng'], test_df['b_from_lat'])

• pandas 处理时间特征

# 增加小时和分钟特征
a_setup_time = pd.DatetimeIndex(test_df['a_setup_time'])
test_df["a_setup_hour"] = pd.Index(a_setup_time).hour
test_df["a_setup_minute"] = pd.Index(a_setup_time).minute

• pandas 删除无用特征

test_df.drop('b_time', axis=1, inplace=True)

• pandas 将csv文件保存到本地

test_df.to_csv('./feature.csv')
# 将特征文件保存，只保存第0，1，2，3列，并且不保存header（列名）
test_df.to_csv('./feature.csv', columns=[0, 1, 2, 3], header=False)  

• pandas将一个list加入到df中

useful_order_count = [balabala...]
test_df["useful"] = pd.Series(useful_order_count)  # 在dataframe中增加新列useful，这个数据之前是一个list

• DataFrame 转换成 array 或 list

test_np = np.array(test_df)  # np.ndarray()
test_list = test_np.tolist()  # list

• Series有多少不重复数据，重复数据有多少

test_df['id'].value_counts()