python自定义函数实例 lite_Python pandas自定义函数的使用方法示例

最新推荐文章于 2024-06-28 15:00:00 发布
最新推荐文章于 2024-06-28 15:00:00 发布
阅读量145 收藏 1
点赞数
文章标签： python自定义函数实例 lite

本文实例讲述了Python pandas自定义函数的使用方法。分享给大家供大家参考，具体如下：

自定义函数的使用

import numpy as np

import pandas as pd

# todo 将自定义的函数作用到dataframe的行和列 或者Serise的行上

ser1 = pd.Series(np.random.randint(-10,10,5),index=list('abcde'))

df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('ACBD'),columns=list('abcde'))

# todo 定义一个函数，求其和，绝对值，最大值减最小值的差值，平方

def func(x):

# print(x)

print('--------------')

num= np.max(x)-np.min(x)

a = abs(x)

b= x**2

# return num

# return a

return b

print(ser1.apply(func))

def func1(x):

# print(x)

print('--------------')

# num= np.max(x)-np.min(x)

a = abs(x)

b= x**2

# return num

# return a

return b

print(df1.apply(func1,axis = 1))

# todo 使用匿名函数实现----求其和，绝对值，最大值减最小值的差值，

print(df1.apply(lambda x:x**2,axis=1))

print('------')

print(df1.apply(lambda x:np.max(x)-np.min(x),axis=1))

print('---------')

print(df1.apply(lambda x:abs(x),axis=1))

# applymap的使用

# todo 使用applymap 因为applymap作用在每个元素上，所以不需要指定axis

print(df1.applymap(lambda x:x**2))

print('---------')

print(df1.applymap(lambda x:abs(x)))

排序

import numpy as np

import pandas as pd

ser1 = pd.Series(np.random.randint(-10,10,10),index=list('acbdfeghji'))

df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('ADBC'),columns=list('abcde'))

print(ser1)

print(df1)

print('------------------')

# todo 按照索引排序 sort_index（）

# print(ser1.sort_index())#默认升序

# print(ser1.sort_index(ascending=False))#指定ascending为降序

# print(df1.sort_index())#默认行升序

# print(df1.sort_index(ascending=False))#行降序

# print(df1.sort_index(axis=1))#列升序

# print(df1.sort_index(ascending=False,axis=1))#列降序

# todo 按照值排序

print(ser1.sort_values())#默认升序

print(ser1.sort_values(ascending=False))#指定ascending为降序

# dataframe 对象比较复杂，需要按照哪一列来进行排序

print(df1.sort_values(by='a'))#默认列升序

print(df1.sort_values(by='a',ascending=False))#列降序

print(df1.sort_values(by='A',axis=1))#行升序

print(df1.sort_values(by='A',ascending=False,axis=1))#行降序

数据重构

import numpy as np

import pandas as pd

ser1 = pd.Series(np.random.randint(-10,10,10),index=[list('aabbccddee'),[1,2,1,2,1,2,1,2,1,2]])

df1 = pd.DataFrame(np.random.randint(-10,10,(4,5)),index=list('aabb'),columns=list('abcde'))

print(ser1)

print(df1)

print('-----------------------')

# todo 外层索引取值

print(ser1['a'])#获取单个外层索引

print(ser1['a':'e'])#获取多个外层

# todo 内层索引取值

print(ser1[:,1])

# todo 指定外层，内层索引取值

print(ser1['a',1])

# todo 交换分层-----swaplevel()

print(ser1.swaplevel())

# todo 将Sterise转为dataframe对象外层索引作为行索引，内层索引作为列索引

print(ser1.unstack())

# todo 将dataframe转为Sterise对象行索引作为外层索引行索引，列索引作为内层索引列

print(df1.stack())

# todo dataframe 转字典

print(df1.to_dict())

# todo dataframe 转csv文件

print(df1.to_csv())

数据连接操作

import numpy as np

import pandas as pd

df1 = pd.DataFrame(

{'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8)}

)

df2 = pd.DataFrame(

{'key2':list('defgh'),'data2':np.random.randint(-5,10,5)}

)

print(df1)

print(df2)

print('--------------------------')

# todo 链接

# print(pd.merge(df1,df2,on='key'))# key相同时 通过key连接df1,df2

# print(pd.merge(df1,df2))#不指定，连接df1,df2默认通过相同的列来连接

# print(pd.merge(df1,df2,on=data1))#data1相同时 通过data1连接df1,df2

#todo 交集

print(pd.merge(df1,df2,left_on='key1',right_on='key2'))

#todo 并集

print(pd.merge(df1,df2,how='outer',left_on='key1',right_on='key2'))

#todo 左连接

print(pd.merge(df1,df2,how='left',left_on='key1',right_on='key2'))

#todo 右连接

print(pd.merge(df1,df2,how='right',left_on='key1',right_on='key2'))

# todo 通过行索引来指定

print(pd.merge(df1,df2,left_on='data1',right_index=True))#left_on指定左表的列索引为外健，right_index作业为右表的行索引作为外检

print(pd.merge(df1,df2,left_index=True,right_index=True))#left_index,right_index,默认的情况下，将两张表按照航索引的相同情况，合成一条数据

print(pd.merge(df1,df2,how='left',left_index=True,right_index=True))# 按照行进行连接，也能指定链接方式

注意点:

1.how = inner,默认的,内连接,多表的交集

2.how = outer,外连接,多表的并集

3.how = left,指定为左连接,展示左表的完整数据,不管右表有没有匹配

4.how = right,指定为右连接,展示右表的完整数据,不管左表有没有匹配

数据的合并

import numpy as np

import pandas as pd

# todo np数组的合并 np.concatenate() ,参与合并的数组，纬度大小是一致的，axis=1 为行排序

# arr1 = np.random.randint(10,20,(3,4))

# arr2 = np.random.randint(10,20,(3,4))

# print(arr1)

# print(arr2)

# print('-------------')

# print(np.concatenate((arr1,arr2),axis=0)) #列合并

# print('----------')

# print(np.concatenate((arr1,arr2),axis=1)) # 行合并

# todo pd的合并 pd.concat()

# ser1 = pd.Series(np.random.randint(10,20,3))

# ser2 = pd.Series(np.random.randint(10,20,5))

# ser3 = pd.Series(np.random.randint(10,20,7))

# print(ser1)

# print(ser2)

# print(ser3)

# print('-------------')

#

# print(pd.concat([ser1,ser2,ser3]))#多个Serise 对象需要用【】包起来，默认是列合并

# print(pd.concat([ser1,ser2,ser3],axis=1))# axis=1 行合并 ,不够的部分用NAN填充

# print(pd.concat([ser1,ser2,ser3],axis=1,join='outer'))# 默认是outer 并集

df1 = pd.DataFrame(

{'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8)}

)

df2 = pd.DataFrame(

{'key2':list('abcde'),'data2':np.random.randint(-5,10,5)}

)

print(pd.concat((df1,df2)))# 默认按照列合并

print(pd.concat((df1,df2),axis=1))# 按照行合并

print(pd.concat((df1,df2),axis=1,join='inner'))# 交集合并

分组

import pandas as pd

import numpy as np

df1 = pd.DataFrame(

{'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8),'key2':list('11223344'),'data2':np.random.randint(-5,10,8)}

)

print(df1)

df2 = pd.DataFrame(

{'key2':list('abcde'),'data2':np.random.randint(-5,10,5)}

)

print('----------------')

# todo 分组 groupby()

group_obj = df1.groupby(by='key2')#通过key1进行分组,返回一个分组对象，分组之后可以用函数进行下一步处理，计算过程中，非数字的数据不参与计算

# print(group_obj)

# print('--------rrrr-------')

# print(group_obj.sum()) # 分组求和

# print(group_obj.mean()) # 分组求均值

# print(group_obj.size()) # 每个分组的元素个数

# print(group_obj.count()) # 每个分组之后，列名里面的个数

#

# # todo 迭代分组对象 注意点：1.每一个元素形式（分组名，属于分组的数据）2.属于该分组的数据，也是dataframe对象

# for i in group_obj:

# print(i)

# print('----------')

# # todo 迭代分组对象的拆分

# for name,data in group_obj:

# print('---')

# print(name)

# print(data)

#

# # todo 分组对象转列表

# print(list(group_obj))

# # todo 分组对象转字典

# print(dict(list(group_obj)))

#

#

#

#

# # todo 聚合（数组产生标量的过程，常常用于分组之后的数据运算）

# # todo 内置的聚合函数

# # todo sum() 求和

# # todo mean（）平均值

# # todo size（）

# # todo max()

# # todo min()

# # todo count

#

# print(group_obj.describe()) #查看具体的聚合数据

# todo 使用单个内置函数

# print(group_obj.agg('max'))#agg里面可以填写内置函数，如果需要使用内置的函数，要用字符串的形式填写

# print(group_obj.agg('min'))

# # todo 使用多个内置函数

# print(group_obj.agg(['max','min','mean']))#需要用列表的形式

# # todo 使用内置的函数取中文别名

# print(group_obj.agg([('最大值','max'),('最小值','min'),('均值','mean')]))# 第一个参数是别名

# todo 自定义函数

def print1(x):

# print(x)

ret = x.max()-x.min()

return ret

print(group_obj.agg([('差值',print1)]))

# todo 匿名函数

print(lambda x:x.max()-x.min())

# todo data1求最大值，data2 求最小值 不同的列用不同的函数

print(group_obj.agg(

{

'data1':['max'],

'data2':[('最小值','min')]

}))

数据分组之后再合并

import pandas as pd

import numpy as np

# todo 分组聚合之后数据的处理

dict_new = {

'data1':np.random.randint(5,15,8),

'data2':np.random.randint(5,15,8),

'data3':4,

'key1':list('aabbccdd'),

'key2':['one','two','three','one','two','three','one','two']

}

df1 = pd.DataFrame(dict_new,index=list('ADCBFEGH'))

print(df1)

# # todo 按照key1进行分组,

# groupy_obj = df1.groupby(by='key1')

# print(groupy_obj)

# for name,data in groupy_obj:

# print(name)

# print(data)

# # todo 分组之后进行求和操作

# sum_data_group = groupy_obj.sum()

# print(sum_data_group)

# # todo 分组之后增加前缀

# sum_data_group = sum_data_group.add_prefix('group_key1')

# print(sum_data_group)

# # todo 先用merge进行关联

# merge_df = pd.merge(df1,sum_data_group,left_on='key1',right_index=True)#左表的列名，右表的行索引名

# print(merge_df)

# todo 取数据的两列分组

groupby_obj = df1.loc[:,['data1','data2']].groupby(df1['key1'])#选区数据其中的数据，按照数据中的列进行分组

# todo 求和

data = groupby_obj.sum()

data1 = groupby_obj.transform('sum').add_prefix('trans_group')#transform 来计算会维持原来的数据结构

# todo 按行合并

print(pd.concat([df1,data1],axis=1))

希望本文所述对大家Python程序设计有所帮助。

pandas自定义函数
欢迎来到关关雎鸠儿的博客
12-06 416
sort_values和reset_index new_titanic_survival = titanic_survival.sort_values("Age",ascending=False) print (new_titanic_survival[0:10]) titanic_reindexed = new_titanic_survival.reset_index(drop=True) ...
Pandas自定义函数
qq_39112101的博客
12-16 2457
（1）以年龄降序为索引排列数据 import pandas as pd import numpy as np titanic_survival = pd.read_csv(r".......文件位置......") new_titanic_survival = titanic_survival.sort_values(“Age”, ascending=False)     #按照年龄降序排...
Pandas 使用自定义函数——《Python数据分析库Pandas》
Python老吕的博客
05-24 749
Pandas 是一个非常强大的 Python 数据处理库，它提供了大量的函数和方法来方便我们处理和分析数据。然而，有时候 Pandas 内置的函数可能无法满足我们的需求，这时我们就需要编写自定义函数来处理数据。Pandas 允许我们将自定义函数应用于 DataFrame 或 Series 的每个元素，从而实现对数据的自定义操作。首先，我们需要根据需求编写自定义函数。这个函数应该接受一个或多个参数，并返回一个值。# 自定义函数：计算平方接下来，我们可以使用 Pandas 的apply()方法或。
在 Pandas 中使用自定义函数
weixin_44100044的博客
03-22 1553
pandas中自定义函数的使用
pandas 自定义函数方法
钱佳佳的博客
03-13 3676
# --------------------dropna(axis=1)去掉有缺失值的行------------------------------------------ drop_na_columns = titanic_survival.dropna(axis=1) new_titanic_survival = titanic_survival.dropna(axis=0,subset=["
Python库 | gecosistema_lite-0.0.228.zip
03-13
2. **导入**：在Python脚本中，使用`import gecosistema_lite`导入库，随后可以调用其提供的各种功能。 3. **学习和使用**：通过阅读库的文档，了解每个函数或类的作用，以及如何正确地调用它们。 4. **调试和测试...
使用python制作常用图表所要使用的数据.zip
06-23
在这个"使用python制作常用图表所要使用的数据.zip"压缩包中，我们很可能找到了一些示例数据和脚本，帮助用户学习如何利用Python生成各种常见的图表。这里我们将详细讨论Python中用于数据可视化的库，以及如何使用...
Python pandas自定义函数的使用方法示例
python函数学习教程
03-10 2494
这篇文章主要介绍了Python pandas自定义函数的使用方法,结合实例形式分析了pandas模块相关自定义函数数值运算操作技巧,需要的朋友可以参考下 文章目录自定义函数的使用排序数据重构数据连接操作数据的合并todo 分组数据分组之后再合并 本文实例讲述了Python pandas自定义函数的使用方法。分享给大家供大家参考，具体如下： 自定义函数的使用 import numpy as np i...
Python应用开发——30天学习Streamlit Python包进行APP的构建（11）
最新发布
此星光明博客
06-28 867
显示互动式虚化图。Bokeh 是 Python 的一个图表库。此函数的参数与 Bokeh 的 show 函数的参数非常接近。有关 Bokeh 的更多信息，请访问 https://bokeh.pydata.org。要在 Streamlit 中显示 Bokeh 图表，请在调用 Bokeh 的 show 时调用 st.bokeh_chart。
pandas 自定义函数，分区：
weixin_44824389的博客
04-20 480
有时候需要对 pandas Series 里的值进行一些操作,但是没有内置函数,这时候可以自己写一个函数, 使用 pandas Series 的 apply 方法,可以对里面的每个值都调用这个函数,然后返回一个新的 Series 1、 apply（fun）: 引编写的方法的方法 # 数据.apply（fun）: 引编写的方法的方法 不加（） import pandas as pd s = pd.S...
Pandas基本常用操作自定义函数——第三节
高志远的博客
08-12 1034
Pandas基本常用操作自定义函数——第三节 以下是本文所用的数据表，如需数据表学习练习，请留言 #Pandas的自定义函数 import pandas as pd import numpy as np titanic = pd.read_csv('titanic_train.csv') titanic.head() PassengerId ...
python自定义函数求差_计算均方、绝对偏差和自定义相似度度量Python/NumPy
weixin_40008946的博客
12-06 459
导入模块首先，让我们导入所有相关模块/函数，这些模块/函数将在本文列出的各种方法中使用-from skimage.util import view_as_windowsfrom skimage.feature import match_templateimport cv2from cv2 import matchTemplate as cv2mfrom scipy.ndimage.filters ...
【Python】DataFrame的列标准化
热门推荐
Asher117的博客
06-06 2万+
这里分享DataFrame的列标准化以及对DataFrame分组之后列标准化。 DataFrame的列标准化 import pandas as pd import numpy as np df = pd.DataFrame(data={ 'A':[1,1,2,2,2], 'B':[2,3,4,6,5], 'C':[3,8,5,12,6] }) df df.apply...
《机器学习实战》学习笔记（二）：k-近邻算法
种树最好的时间是10年前，其次是现在！！！
08-19 1万+
专栏【机器学习】 【机器学习】《机器学习实战》读书笔记及代码 总目录 https://blog.csdn.net/TeFuirnever/article/details/99701256 —————————————————————————————————————————————————————— 目录专栏【机器学习】本章内容k-近邻算法概述参考文章 本章内容 k-近邻分类算法 从文本文件中解...
Python-graphs:像专业人士一样在python中实现图形
05-12
在这个例子中，我们使用了`boxplot`函数和`stripplot`函数，展示了不同类别（'category'列）下的值（'value'列）分布情况。 Plotly库则用于创建交互式图形，特别适用于Web应用或在线报告。以下是一个基本的散点图...
【Python数据分析】Pandas_自定义函数
qq_45951891的博客
06-17 362
如何从上述函数中选择适合的函数，这取决于函数的操作对象。下面介绍了三种方法的使用。
【Pandas 统计函数和自定义函数的使用】
武帝为此的博客
02-08 522
Pandas 是基于 NumPy 的数据分析工具，它提供了各种数据结构，如 Series 和 DataFrame，以及各种功能强大的函数，用于数据的统计、清洗、处理和分析。除了内置的统计函数，还可以创建自定义函数来处理数据。这些自定义函数可以根据需求进行定制，以执行特定的数据操作。创建一个自定义函数，将工资大于某个阈值的员工标记为高工资，否则标记为低工资。# 创建示例 DataFrame# 自定义函数return '高工资'else:return '低工资'# 应用自定义函数并创建新列。
Pandas 高级教程——自定义函数与映射
Echo_Wish的博客
12-23 539
Pandas 提供了强大的功能，允许你使用自定义函数和映射来处理数据。在实际数据分析和处理中，这些功能为我们提供了灵活性和可定制性。本篇博客将深入介绍如何使用 Pandas 进行自定义函数和映射操作，通过实例演示如何应用这些技术。apply 方法允许你使用自定义函数对 DataFrame 的列或行进行操作。# 自定义函数# 对 'Age' 列应用自定义函数通过本篇博客的学习，你应该对 Pandas 中的自定义函数和映射操作有了更深入的理解。这些功能可以让你更灵活地处理和转换数据，适应不同的业务需求。
Pandas 模块-操纵数据(6)-DataFrame 使用自定义函数
一分耕耘一分收获
12-08 5296
如果想要应用自定义的函数，或者把其他库中的函数应用到 Pandas.DataFrame 对象中，有以下三种方法： 操作整个 DataFrame 的函数：pipe() 操作行或者列的函数：apply() 操作单一元素的函数：applymap(）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值