Pandas学习笔记

本次学习是通过实际数据用pandas进行分析和处理的操作。使我们逐步了解和掌握数据处理的基本技能。

1.导入numpy和pandas，这俩款工具可以有效地提高工作的效率。代码分别为：

import numpy as np
import pandas as pd

2.掌握不同的方法导入数据

（1）绝对路径   df = pd.read_csv(r'C:\Users\LENOVO\Desktop\train.csv')

（2）相对路径   df = pd.read_csv('train.csv')

通过对比发现，绝对路径提供了完整的文件或目录路径，从根目录开始，可以唯一确定位置。相对路径只提供了与当前位置的相对关系，没有明确从根目录开始。‌

pd.read_csv() 默认使用逗号作为字段之间的分隔符，通常用于读取逗号分隔值（CSV）文件，这类文件以“.csv”为扩展名，数据字段之间用逗号分隔。
pd.read_table() 默认使用制表符（tab）作为字段之间的分隔符，用于读取制表符分隔值（TSV）文件，这类文件以“.tsv”为扩展名，数据字段之间用制表符分隔。
要想使两者表达效果相同，可以将pd.read_table 里的默认的制表符改为逗号。

3.逐块读取，就是将文本分成若干块。因为我们平时使用pandas来处理文件的时候，经常会遇到大文件，但有时候我们只想要读取其中的一部分数据或对文件进行逐块处理。我们可以执行以下代码将这次泰坦尼克号的数据按照1000为块逐块读取。

chunker = pd.read_csv('./train.csv',chunksize=1000)
for i in chunker:
    print(i)

4.为了让数据更加方便的被读取，将表头的英文改为中文。

df = pd.read_csv('train.csv',names=['乘客ID','是否幸存','乘客等级','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header = 0)

这里我们需要注意的是，代码里的汉字在表头中是按照从右至左的顺序排列，如果只写一组汉字，那么表头中被代替的是最右边的表头

5.查看数据的基本信息。执行以下代码就可以概览到数据大小、有多少列，各列都是什么格式的，是否包含null等数据的整体结构和样例

df.info()

如果我们只想看到数据的前十行或后十五行我们可以对数据进行以下筛选

df.head(10)        #前十行

df.tail(15)           #后十五行

6.保存数据

将你加载斌做出改变的数据在工作目录下保存到train_chinese.csv

df.to_csv('train_chinese.csv')

7.pandas的俩个数据类型，DateFrame和Series

  DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

 Series 是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。

8.查看DataFrame数据的每列的名称

执行   df.columns  就可以看到数据每列的名称，如果还想看某一列的所有值，需要执行

df['Cabin'].head(3)或者df.Cabin.head(3)

9.删除test_1.csv文件的一列'a'

del test1['a']

还可以用Pop函数

df = pd.read_csv('test_1.csv')
df.pop('a')
df.pop('Unnamed: 0') # 0前面有一个空格
df

10.将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素，这里需要走用到drop函数。

df = pd.read_csv('test_1.csv')
df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)
df    

11.筛选数据

 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df['Age']<10].head(3)

 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage = df[(df['Age']>10)&(df['Age']<50)]
midage.head(3)

将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage = midage.reset_index(drop=True)

midage

midage.loc[[100],['Pclass','Sex']]

12.用loc函数和iloc函数显示数据

loc：通过行标签索引行数据,当index 是整数：loc[n]表示索引的是第n行；当index 是字符：loc[‘d’]表示索引的是第’d’行有行索引可以没有字段取值，但有字段取值前必须得有行索引，而且行索引只能为标签索引形式来取，不能按切片形式来取。单取切片形式可以，只是索引为左闭右闭。

iloc：通过行索引获取行数据不能是字符，取索引必须按切片形式来取，不能按标签，这是与loc的不同。索引为左闭右开。iloc也可以取指定行列，只不过得按切片形式索引，不能直接拿标签索引来做。

midage.loc[[100,105,108],['Pclass','Name','Sex']]

midage.iloc[[100,105,108],[2,3,4]]

13.利用pandas进行排序

让行索引升序排列     #竖着分布
frame.sort_index()

让列索引升序排序    #横着分布
frame.sort_index(axis=1)

让列索引降序排序
frame.sort_index(axis=1,ascending=False)

让任选两列数据同时降序排序
frame.sort_values(by=['a','c'],ascending=False)