pandas入门笔记

一，数据加载

1.1导入numpy和pandas（使用pip安装，并且使用import导入）

!pip install numpy
!pip install pandas
import numpy as np
import pandas as pd

1.2载入数据

1.2.1载入数据分两种方式；使用相对路径载入，使用绝对路径载入

使用相对路径如    df=pd.read_csv('train.csv')，

使用绝对路径如   df=pd.read_csv(r'C:\Users\14999\Desktop\pandas入门\train.csv')，

1.2.2pd.read_csv()和pd.read_table()的不同:

# 使用 pd.read_csv() 读取 CSV 文件  
df_csv = pd.read_csv('example.csv')  
  
# 使用 pd.read_table() 读取相同的 CSV 文件，通过设置 sep=','  
df_table = pd.read_table('example.csv', sep=',')  

已知'.tsv'和'.csv'的不同，如何加载这两个数据集？

#加载csv
df_csv = pd.read_csv('data.csv')

#加载tsv
df_tsv = pd.read_csv('data.tsv', sep='\t')#加载tsv

1.3逐块读取

数据被分成较小的块，然后依次读取和处理每个块，而不是一次性将整个数据集加载到内存中。
逐块处理可能更加高效，避免内存溢出错误，数据是连续产生的

可以这样实现分块：

chunk_size = 10000  # 每个块包含的行数  
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):  
    # 对每个块执行操作  
    print(chunk.head())  # 示例：打印每个块的前几行

1.4表头和索引的修改

对两者的修改，可以将英文资料通过翻译变得更加直观

使用names来将表头逐项修改，再使用index_col来修改索引

names是使用倒着的顺序来填充，需要指定每一项

df=pd.read_csv('train.csv',names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)

二，数据的初步观察

2.1   查看数据的基本信息

  可以使用df.info()

df.info() 是Pandas库中DataFrame对象的一个非常有用的方法，它用于快速获取DataFrame的简要信息。当你对一个DataFrame执行df.info()时，它会输出以下一些关键信息：

1. <class 'pandas.core.frame.DataFrame'>：这一行表示你正在查看的是一个DataFrame对象。

2. RangeIndex：显示DataFrame的索引类型（默认情况下是RangeIndex，即从0开始的整数索引）以及索引的范围（即第一个索引和最后一个索引的值）。

3. Data columns (total N columns)：告诉你DataFrame中总共有多少列，N是列的总数。

4. Columns：列出每一列的名称，以及每列的非空值数量（Non-Null Count）、数据类型（Dtype）。这对于快速检查数据缺失情况和数据类型非常有用。

5. Memory usage：显示整个DataFrame占用的内存大小。

2.2观察表格前10行和后15行

df.head()用于查看DataFrame的前几行数据。

df.tail()用于查看DataFrame的后几行数据。

2.3判断数据是否为空，为空的地方返回True，其余地方返回False

df.isnull()方法用于检测DataFrame中的缺失值（即NaN值）。它会返回一个与原DataFrame形状相同的布尔型DataFrame，其中每个元素都是True或False，表示对应位置的元素是否为缺失值（NaN）。接着，你可以使用.head(5)方法来查看这个布尔型DataFrame的前5行，以快速了解数据集中哪些位置存在缺失值。

三，pandas基础

3.1认识数据类型

pandas中有两个数据类型DateFrame和Series，假设我们有一个简单的员工数据集，包含员工的姓名、年龄和部门。我们可以使用DataFrame来表示这个数据集，并使用Series来展示某个特定列（比如年龄）的数据。

import pandas as pd  
  
# 创建一个DataFrame来存储员工数据  
data = {  
    '姓名': ['张三', '李四', '王五', '赵六'],  
    '年龄': [28, 34, 29, 32],  
    '部门': ['技术部', '市场部', '技术部', '财务部']  
}  
df = pd.DataFrame(data)  
  
# 显示DataFrame  
print("完整的员工DataFrame:")  
print(df)  
  
# 使用Series来展示年龄列  
ages = df['年龄']  
print("\n员工年龄Series:")  
print(ages)  
  
# 对Series进行操作，比如找出年龄最大的员工  
max_age = ages.max()  
print(f"\n年龄最大的员工是: {max_age}岁")  
  
# 结合DataFrame和Series进行条件筛选，比如找出技术部的员工  
tech_dept = df[df['部门'] == '技术部']  
print("\n技术部的员工:")  
print(tech_dept)  
  
# 进一步，我们可以从筛选后的DataFrame中选取特定列（比如姓名）  
tech_dept_names = tech_dept['姓名']  
print("\n技术部员工的姓名:")  
print(tech_dept_names)

3.2查看DataFrame数据的每列的名称

 df.columns

3.3查看"Cabin"这列的所有值 

df['Name']

3.4删除多余的列

del test1['a']

也可以使用drop：drop()方法是pandas中删除列最常用的方法之一。通过指定axis=1（表示按列操作）和列名（或列名列表）
可以灵活地删除单列或多列。此外，通过设置inplace=True参数，
可以直接在原DataFrame上进行修改，否则将返回一个新的DataFrame。

四，筛选的逻辑

4.1以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df['Age']<10]

4.2 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage=df[(df['Age']>10)&(df['Age'])<50]
midage.head(3)

4.3将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage.loc[[100],['Pclass','Sex']]

reset_index()函数的作用是pandas 中主要用于重置 DataFrame 或 Series 的索引，使其从0开始
使用 reset_index() 来恢复原始列，可能将无法直接访问该列的值。

4.4使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100,105,108],['Pclass','Name','Sex']]

4.5任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来¶

​
midage.iloc[[100,105,108],[2,3,4]]

​

五，探索性数据分析

5.1在pandas中对数据进行排序

 

​
frame = pd.DataFrame(np.arange(8).reshape((2, 4)), 
                     index=['2', '1'], 
                     columns=['d', 'a', 'b', 'c'])
frame

​

【代码解析】

pd.DataFrame() ：创建一个DataFrame对象

np.arange(8).reshape((2, 4)) : 生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7

index=['2, 1] ：DataFrame 对象的索引列

columns=['d', 'a', 'b', 'c'] ：DataFrame 对象的索引行

利用Pandas对示例数据进行排序，要求升序

frame.sort_values(by='c',ascending=True)

# 让行索引升序排序
frame.sort_index()
# 让列索引升序排序
frame.sort_index(axis=1)
# 让列索引降序排序
frame.sort_index(axis=1,ascending=False)
# 让任选两列数据同时降序排序
frame.sort_values(by=['a','c'],ascending=False)

5.2利用Pandas进行算术计算，计算两个DataFrame数据相加结果

frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a
frame1_a+frame1_b

5.3学会使用Pandas describe()函数查看数据基本统计信息

frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])

frame2.describe()