pandas dataframe函数_最全的pandas面试基础100题目

最新推荐文章于 2023-05-15 17:22:57 发布

weixin_39682897

最新推荐文章于 2023-05-15 17:22:57 发布

阅读量1.3k

点赞数

本文从读取数据到操作全部包含，你可以通过刷题的方式来完整学习pandas中数据处理的各种方法。

阅读路线

准备工作
生成对象
索引
选择需要的数据
运算
合并(Merge)
分组(Grouping)
重塑(Reshaping)
数据透视表(Pivot Tables)
pandas DataFrame里的操作

一、准备工作

import numpy as np
import pandas as pd

在进行下面的题目操作时，一定要先导入上面的两个数据分析包pandas、numpy

二、生成对象

1. 如何用Python的列表创建一个series?

s = pd.Series([1, 3, 5, np.nan, 6, 8])

输出：

一个series是一个一维的标记数组，可以容纳任何数据类型(整数、字符串、浮点数、Python对象等)。必须记住，与Python列表不同，一个series总是包含相同类型的数据。

2.如何使用列表创建一个DataFrame?

# 导入pandas
import pandas as pd

# 字符串列表
lst =  ["Gamer47","Shox","Simple"]

# 在列表中调用DataFrame构造函数
df = pd.DataFrame(lst)

输出：

3.如何使用Series 字典对象生成 DataFrame?

df2 = pd.DataFrame({'A': 1.,
                   'B': pd.Timestamp('20130102'),
                   'C': pd.Series(1, index=list(range(4)), dtype='float32'),
                   'D': np.array([3] * 4, dtype='int32'),
                   'E': pd.Categorical(["test", "train", "test", "train"]),
                   'F': 'foo'})

输出：

4.如何在pandas中创建一个空的DataFrame？要创建一个完全空的pandas dataframe，我们使用以下操作：

import pandas as pd
df = pd.DataFrame()

输出：

三.查看数据

已知有这样的数据，如何进行查看

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))

输出：

1. 如何查看头部数据?

2.如何查看尾部数据?

3.如何快速查看数据的统计摘要?

4.如何查询索引和列名?

四.索引

1.简述Pandas Index在panda中建立索引意味着简单地从DataFrame中选择特定的数据行和列。
pandas支持四种类型的多轴索引，它们是:

Dataframe.[ ] 此函数称为索引运算符
Dataframe.loc[ ] : 此函数用于标签
Dataframe.iloc[ ] : 此函数用于基于位置或整数的
Dataframe.ix[] : 此函数用于基于标签和整数的

它们统称为索引器。这些是迄今为止索引数据最常见的方法。这四个函数有助于从DataFrame获取元素、行和列。

2.Pandas 定义重新索引(Reindexing)重新索引会更改DataFrame的行标签和列标签。重新索引意味着使数据符合特定轴上给定的一组标签。
多个操作可以通过像这样的索引来完成:

重新排序现有数据以匹配一组新的标签。
在不存在标签数据的标签位置插入缺失值(NA)标记。

import pandas as pd
import numpy as np
N=20
df = pd.DataFrame({
   'A': pd.date_range(start='2016-01-01',periods=N,freq='D'),
   'x': np.linspace(0,stop=N-1,num=N),
   'y': np.random.rand(N),
   'C': np.random.choice(['Low','Medium','High'],N).tolist(),
   'D': np.random.normal(100, 10, size=(N)).tolist()
})

df_reindexed = df.reindex(index=[0,2,5], columns=['A', 'C', 'B'])
print (df_reindexed)

输出:

3.如何设置索引？

panda set_index()是一种将列表、序列或dataframe设置为dataframe索引的方法。

语法:DataFrame.set_index(keys, inplace=False)

参数:

keys：列标签或列标签/数组列表，需要设置为索引的列
inplace：默认为False，适当修改DataFrame(不要创建新对象)

改变索引列：在本例中，名称列被用作DataFrame的索引列

import pandas as pd
#就是读取csv文本文件到DataFrame变量中
data = pd.read_csv("employees.csv") 
data.set_index("First Name", inplace = True)
#观察数据
data.head()

输出:如输出图像所示，以前索引列是一系列数字Before Operation –

data.set_index("First Name", inplace = True)
#观察改变索引列后的数据
data.head()

After Operation

4.如何重置索引?Pandas Series.reset_index()函数的作用是:生成一个新的DataFrame或带有重置索引的Series。

例1： 使用 Series.reset_index() 函数重置给定Series对象的索引

# 导入pandas包
import pandas as pd
# 创建 Series
sr = pd.Series([10, 25, 3, 11, 24, 6])
# 创建索引
index_ = ['Coca Cola', 'Sprite', 'Coke', 'Fanta', 'Dew', 'ThumbsUp']
# 设置索引
sr.index = index_
# 打印series
print(sr)

输出:

现在，我们将使用Series.reset_index()函数来重置给定的series对象的索引

# 重置索引
result = sr.reset_index()
# 打印
print(result)

输出 :

从输出中可以看到，该 Series.reset_index() 函数已将给定Series对象的索引重置为默认值。它保留了索引，并将其转换为列。

五、选择需要的数据

1.获取数据

1.1先创建数据:

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))

1.2选择单列，产生 Series:

1.3用 [ ] 切片行：

2.按标签选择

详见按标签选择:

https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#indexing-label

2.1用标签提取一行数据：

2.2用标签选择多列数据：

2.3用标签切片，包含行与列结束点：

2.4返回对象降维：

2.5提取标量值：

2.6快速访问标量，与上述方法等效：

3.按位置选择

详见按标签选择:

https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#indexing-lab

3.1用整数位置选择：

3.2类似 NumPy / Python，用整数切片：

3.3 类似 NumPy / Python，用整数列表按位置切片：

3.4显式整行切片：

3.5 显式整列切片：

3.6显式提取值：

3.7 快速访问标量，与上述方法等效：

4.布尔索引

4.1用单列的值选择数据：

4.2选择 DataFrame 里满足条件的值：

4.3 用 isin() 筛选：

5.赋值

5.1用索引自动对齐新增列的数据：

5.2 按标签赋值：

5.3按位置赋值：

5.4按 NumPy 数组赋值：

5.5上述赋值结果：

5.6用 where 条件赋值：

六.运算

1.如何得到一个数列的最小值、第25百分位、中值、第75位和最大值?

import pandas as pd
import numpy as np
from numpy import percentile

p = pd.Series(np.random.normal(14, 6, 22))
state = np.random.RandomState(120)
p = pd.Series(state.normal(14, 6, 22))
print(percentile(p, q=[0, 25, 50, 75, 100]))

输出:

2.如何获得panda DataFrame中一个列的平均值?

Pandas dataframe.mean(axis=None)函数返回所请求轴(axis=0代表对列进行求平均值，axis=1代表对行进行求平均值)的值的平均值。

示例:使用 mean() 函数查找索引轴上所有观测值的平均值。

import pandas as pd
df = pd.DataFrame({"A":[12, 4, 5, 44, 1],
                   "B":[5, 2, 54, 3, 2], 
                   "C":[20, 16, 7, 3, 8],
                   "D":[14, 3, 17, 2, 6]})
df

输出:

让我们使用datafame .mean()函数来查找索引轴上的平均值。

3.如何将函数应用到DataFrame中的每个数据元素?可以使用 apply() 函数以便将函数应用于给定dataframe中的每一行。让我们来看看我们完成这项任务的方式。

实例:

import pandas as pd

def add(a, b, c):
    return a + b + c

def main():

    data = {
            'A':[1, 2, 3], 
            'B':[4, 5, 6], 
            'C':[7, 8, 9] }

    df = pd.DataFrame(data)
    print("Original DataFrame:\n", df)

    df['add'] = df.apply(lambda row : add(row['A'],
                     row['B'], row['C']), axis = 1)
    print('\nAfter Applying Function: ')
    print(df)

if __name__ == '__main__':
    main()

输出：

4.如何在panda中获得一个DataFrame的行数和列数?

import numpy as np

raw_data = {'name': ['Willard Morris', 'Al Jennings', 'Omar Mullins', 'Spencer McDaniel'],
'age': [20, 19, 22, 21],
'favorite_color': ['blue', 'red', 'yellow', "green"],
'grade': [88, 92, 95, 70]}
df = pd.DataFrame(raw_data, columns = ['name', 'age', 'favorite_color', 'grade'])

输出:

获取df的行和列计数:

df.shape

输出:

5.如何在panda DataFrame中获得列值的总和?Pandas dataframe.sum()函数返回所请求轴的值的和

语法: DataFrame.sum(axis=None, skipna=None, )

参数:

axis : {index (0), columns (1)},axis=0代表对列进行求和，axis=1代表对行进行求和
skipna : 计算结果时排除NA /空值

示例1:使用 sum() 函数查找索引轴上所有值的总和

#导入数据
import pandas as pd 
df = pd.read_csv("NBAPlayers.txt",delimiter="\t")

现在求出沿索引轴的所有值的和。我们将跳过计算和时的NaN值。

# 查找索引轴的和，默认情况下，轴设置为0
df.sum(axis = 0, skipna = True)

输出:

数据链接:

https://pan.baidu.com/s/1vAUxFlNizVTYH03j-O-VVg
提取码：ykbo

七.合并

如何将新行追加到pandas DataFrame？Pandas dataframe.append()函数的作用是:将其他dataframe的行追加到给定的dataframe的末尾，返回一个新的dataframe对象。

语法:DataFrame.append( ignore_index=False,)

参数:

ignore_index : 如果为真，就不要使用索引标签

示例1： 创建两个数据框，然后将第二个附加到第一个。

importpandas as pd
# 使用dictionary创建第一个Dataframe
df1 =df =pd.DataFrame({"a":[1, 2, 3, 4],
"b":[5, 6, 7, 8]})
# 使用dictionary创建第二个Dataframe
df2 =pd.DataFrame({"a":[1, 2, 3],
"b":[5, 6, 7]})

现在将df2附加到df1的末尾

df1.append(df2)

输出:

请注意，第二个DataFrame的索引值保留在附加的DataFrame中。如果我们不希望发生这种情况，则可以设置ignore_index = True。

df.append(df2, ignore_index = True)

输出 :

八.分组(Grouping)

“group by” 指的是涵盖下列一项或多项步骤的处理流程：

分割：按条件把数据分割成多组；
应用：为每组单独应用函数；
组合：将处理结果组合成一个数据结构。

详见分组:

df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar',
                            'foo', 'bar', 'foo', 'foo'],
                 'B': ['one', 'one', 'two', 'three',
                         'two', 'two', 'one', 'three'],
                 'C': np.random.randn(8),
                 'D': np.random.randn(8)})
df

输出:

1.先分组，再用 sum()函数计算每组的汇总数据：

df.groupby('A').sum()

输出:

2.多列分组后，生成多层索引，也可以应用 sum 函数：

df.groupby(['A', 'B']).sum()

输出:

九.重塑(Reshaping)

如何将numpy数组转换为给定形状的DataFrame?

import pandas as pd
import numpy as np
p = pd.Series(np.random.randint(1, 7, 8))

输出:

将series p重新组合成一个2行4列的dataframe

info = pd.DataFrame(p.values.reshape(2,4))

输出:

十.数据透视表

透视表是一种可以对数据动态排布并且分类汇总的表格格式，在pandas中它被称作pivot_table。pivot_table(data, values=None, index=None, columns=None)参数:

Index: 就是层次字段，要通过透视表获取什么信息就按照相应的顺序设置字段
Values: 可以对需要的计算数据进行筛选
Columns: 类似Index可以设置列层次字段，它不是一个必要参数，作为一种分割数据的可选方式。

详见数据透视表:

https://pandas.pydata.org/pandas-docs/stable/user_guide/reshaping.html#reshaping-pivot
"With a Title"

数据透视表代码：

import pandas as pd
import numpy as np
df = pd.DataFrame({'A': ['one', 'one', 'two', 'three'] * 3,
                    'B': ['A', 'B', 'C'] * 4,
                    'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                    'D': np.random.randn(12),
                    'E': np.random.randn(12)})

打印输出：

用上述数据生成数据透视表非常简单：

pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])

返回结果:

十一.panda DataFrame里的操作

1.如何将列添加到pandas DataFrame？源数据:

#导入pandas
import pandas as pd
# 定义一个包含学生数据的字典
data = {"Name": ["Jai","Princi", "Gaurav" ,"Anuj"],
"Height": [5.1, 6.2, 5.1, 5.2],
"Qualification": ["Msc", "Ma","Msc", "Msc"]}
# 将字典转换成DataFrame
df = pd.DataFrame(data)

输出:

添加列:

# 声明要转换为列的列表
address = ["Delhi", "Bangalore", "Chennai" ,"Patna"] 
# 使用“address”作为列名
df["Address"] = address
# 观察结果
df

输出：

2.如何向panda DataFrame添加索引、行或列?

向DataFrame添加索引如果您创建了一个DataFrame, panda允许将输入添加到索引参数中。它将确保您拥有所需的索引。否则，在默认情况下，DataFrame包含一个数值索引，该索引从0开始，在DataFrame的最后一行结束。

向DataFrame添加行、列
我们可以使用.loc、iloc和ix将行、列插入到DataFrame中。

添加具有特定索引名的行:

import pandas as pd
employees = pd.DataFrame(
    data={'Name': ['John Doe', 'William Spark'],
          'Occupation': ['Chemist', 'Statistician'],
          'Date Of Join': ['2018-01-25', '2018-01-26'],
          'Age': [23, 24]},
    index=['Emp001', 'Emp002'],
    columns=['Name', 'Occupation', 'Date Of Join', 'Age'])
print("\n------------ BEFORE ----------------\n")
print(employees)
employees.loc['Emp003'] = ['Sunny', 'Programmer', '2018-01-25', 45]
print("\n------------ AFTER ----------------\n")
print(employees)

输出:

3.如何在panda DataFrame上进行迭代?您可以通过结合使用for循环和对DataFrame的iterrows()调用来遍历DataFrame的行。

import pandas as pd
import numpy as np

df = pd.DataFrame([{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}])
for index, row in df.iterrows():
    print(row['c1'], row['c2'])

输出:

4.我们如何排序DataFrame？我们可以通过以下几种有效地在DataFrame中执行排序：

(1) 按标签可以使用sort_index()方法对数据dataframe进行排序。可以通过传递axis参数和排序顺序来实现。默认情况下，按升序对行标签进行排序。

import pandas as pd
import numpy as np

unsorted_df = pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],
columns = ['col2','col1'])

sorted_df=unsorted_df.sort_index()
print (sorted_df)

输出:

排序顺序通过将布尔值传递给升序参数，可以控制排序的顺序。让我们考虑下面的例子来理解这个问题

import pandas as pd
import numpy as np
unsorted_df = pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],columns = ['col2','col1'])
sorted_df = unsorted_df.sort_index(ascending=False)
print(sorted_df)

输出:

对列进行排序通过传递值1的axis参数，可以对列标签进行排序，让我们考虑下面的例子来理解这个问题。

import pandas as pd
import numpy as np
unsorted_df = pd.DataFrame(np.random.randn(10, 2), index=[1, 4, 6, 2, 3, 5, 9, 8, 0, 7], columns = ['col2', 'col1'])
sorted_df = unsorted_df.sort_index(axis=1)
print(sorted_df)

输出:

(2) 按照实际值DataFrame.sort_values(by, axis=0, ascending=True, inplace=False)sort_values提供了一个功能，我们可以在其中指定要排序的值的DataFrame列名。它是通过传递“by”参数来完成的。

参数解析:

axis:{0 or ‘index’, 1 or ‘columns’}, default 0，默认按照索引排序，即纵向排序，如果为1，则是横向排序
by:如果axis=0，那么by="列名"；如果axis=1，那么by="行名"；
ascending:布尔型，True则升序，可以是[True,False]，即第一字段升序，第二个降序
inplace:布尔型，是否用排序后的数据框替换现有的数据框

import numpy as np
import pandas as pd
from pandas import DataFrame

data=[["a",2,301],["b",1,201],["c",2,201],["d",1,301],["e",2,301]]
df=pd.DataFrame(data,columns=["A","B","C"])

查看源数据:

df.sort_values(by=["C","B"],ascending=[False,True],inplace=True)

输出:

data_1=[[300,2,301],[2,1,201],[3,300,201],[100,1,301],[500,2,301]]
df_1=pd.DataFrame(data_1,columns=["A","B","C"])

输出:

df_1.sort_values(by=0,axis=1,inplace=True)

输出:

7.如何删除panda DataFrame中的行?

import pandas as pd

data = {'name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], 
        'year': [2012, 2012, 2013, 2014, 2014], 
        'reports': [4, 24, 31, 2, 3]}
df = pd.DataFrame(data, index = ['Cochice', 'Pima', 'Santa Cruz', 'Maricopa', 'Yuma'])
df

输出:

删除行

df.drop(['Cochice', 'Pima'])

输出 :

8.如何删除panda DataFrame中的列? 创建源数据

test_dict = {'id':[1,2,3,4,5,6],'name':['Alice','Bob','Cindy','Eric','Helen','Grace '],'math':[90,89,99,78,97,93],'english':[89,94,80,94,94,90]}
#直接写入参数test_dict
test_dict_df = pd.DataFrame(test_dict)
#字典型赋值
test_dict_df = pd.DataFrame(data=test_dict)
test_dict_df

输出:

删除列 删除列，我们使用drop()函数，则要增加参数axis=1

test_dict_df.drop(['id'],axis=1)

输出:

“好文和朋友一起看！”

weixin_39682897

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
pandas dataframe函数_最全的pandas面试基础100题目

本文从读取数据到操作全部包含，你可以通过刷题的方式来完整学习pandas中数据处理的各种方法。阅读路线准备工作生成对象索引选择需要的数据运算合并(Merge)分组(Grouping)重塑(Reshaping)数据透视表(Pivot Tables)pandas DataFrame里的操作一、准备工作importnumpyasnpimportpandasaspd在进行下面的题目...
复制链接

扫一扫