【Python 数据科学】聚合apply和agg

import pandas as pd 
position=pd.read_csv('DataAnalyst.csv',encoding='gbk')
company=pd.read_csv('company_sql.csv',encoding='gbk')
position.head()

	city	companyFullName	companyId	companyLabelList	companyShortName	companySize	businessZones	firstType	secondType	education	industryField	positionId	positionAdvantage	positionName	positionLables	bottom	top	avg	workYear
0	上海	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	['张江']	技术	数据开发	硕士	移动互联网	2537336	知名平台	数据分析师	['分析师', '数据分析', '数据挖掘', '数据']	7	9	8.0	应届毕业生
1	上海	上海点荣金融信息服务有限责任公司	23177	['节日礼物', '带薪年假', '岗位晋升', '扁平管理']	点融网	500-2000人	['五里桥', '打浦桥', '制造局路']	技术	数据开发	本科	金融	2427485	挑战机会,团队好,与大牛合作,工作环境好	数据分析师-CR2017-SH2909	['分析师', '数据分析', '数据挖掘', '数据']	10	15	12.5	应届毕业生
2	上海	上海晶樵网络信息技术有限公司	57561	['技能培训', '绩效奖金', '岗位晋升', '管理规范']	SPD	50-150人	['打浦桥']	设计	数据分析	本科	移动互联网	2511252	时间自由,领导nic	数据分析师	['分析师', '数据分析', '数据']	4	6	5.0	应届毕业生
3	上海	杭州数云信息技术有限公司上海分公司	7502	['绩效奖金', '股票期权', '五险一金', '通讯津贴']	数云	150-500人	['龙华', '上海体育场', '万体馆']	市场与销售	数据分析	本科	企业服务,数据服务	2427530	五险一金 绩效奖金 带薪年假 节日福利	大数据业务分析师【数云校招】	['商业', '分析师', '大数据', '数据']	6	8	7.0	应届毕业生
4	上海	上海银基富力信息技术有限公司	130876	['年底双薪', '通讯津贴', '定期体检', '绩效奖金']	银基富力	15-50人	['上海影城', '新华路', '虹桥']	技术	软件开发	本科	其他	2245819	在大牛下指导	BI开发/数据分析师	['分析师', '数据分析', '数据', 'BI']	2	3	2.5	应届毕业生

apply

问题：不同城市下薪资前3的职位（分组topN)

#df取top3
position.sort_values('avg',ascending=False)[:3]

	city	companyFullName	companyId	companyLabelList	companyShortName	companySize	businessZones	firstType	secondType	education	industryField	positionId	positionAdvantage	positionName	positionLables	bottom	top	avg	workYear
1364	深圳	华为技术有限公司	3060	['技能培训', '节日礼物', '股票期权', '绩效奖金']	华为技术有限公司	2000人以上	NaN	开发/测试/运维类	运维安全	本科	移动互联网,企业服务	2573388	高薪~期权~	安全数据分析专家	['专家', '安全', '网络安全', '病毒分析', '数据分析', '数据']	50	100	75.0	5-10年
2845	北京	北京达佳互联信息技术有限公司	1880	['股票期权', '五险一金', '弹性工作', '定期体检']	快手	50-150人	['中关村', '北京大学', '苏州街']	开发/测试/运维类	运维安全	本科	移动互联网	2538369	待遇优厚,平台超赞,租房补助,美味午晚餐	高级数据中心架构师	['架构师', '运维', '数据']	50	100	75.0	3-5年
827	上海	上海友希数码科技发展有限公司	150849	['年底双薪', '专项奖金', '年终分红', '带薪年假']	友希科技	500-2000人	['张江']	开发/测试/运维类	数据开发	本科	硬件	2568751	VR,微鲸科技,阿里腾讯,行业领先	大数据架构师（阿里/腾讯/华人文化共同投资）	['专家', '架构师', '大数据', '数据']	50	100	75.0	5-10年

#分组df取topN
def func(x,N,asc):
    return x.sort_values('avg',ascending=asc)[:N]
#这里传入的也是df,只不过是已经按照city分组后的df，因此函数会在分组内运行，得到的就是分组结果
position.groupby('city').apply(func,N=3,asc=False)

		city	companyFullName	companyId	companyLabelList	companyShortName	companySize	businessZones	firstType	secondType	education	industryField	positionId	positionAdvantage	positionName	positionLables	bottom	top	avg	workYear
city
上海	835	上海	上海遇志投资管理有限公司	151989	['年底双薪', '股票期权', '创业氛围', '专项奖金']	复星金服	2000人以上	['漕河泾']	技术	管理岗	硕士	金融,移动互联网	2475927	复兴集团背景 强大资源投入 发挥空间巨大	数据技术总监	['技术总监', '数据']	50	100	75.0	5-10年
	827	上海	上海友希数码科技发展有限公司	150849	['年底双薪', '专项奖金', '年终分红', '带薪年假']	友希科技	500-2000人	['张江']	开发/测试/运维类	数据开发	本科	硬件	2568751	VR,微鲸科技,阿里腾讯,行业领先	大数据架构师（阿里/腾讯/华人文化共同投资）	['专家', '架构师', '大数据', '数据']	50	100	75.0	5-10年
	774	上海	上海管易云计算软件有限公司	10821	['绩效奖金', '年底双薪', '五险一金', '午餐补助']	上海管易云计算软件有限公司	150-500人	['张江']	技术	管理岗	本科	移动互联网,电子商务	2433090	薪资优、福利全、平台大、产品应用广	大数据架构	['大数据', '架构师', '数据']	35	70	52.5	5-10年
北京	2845	北京	北京达佳互联信息技术有限公司	1880	['股票期权', '五险一金', '弹性工作', '定期体检']	快手	50-150人	['中关村', '北京大学', '苏州街']	开发/测试/运维类	运维安全	本科	移动互联网	2538369	待遇优厚,平台超赞,租房补助,美味午晚餐	高级数据中心架构师	['架构师', '运维', '数据']	50	100	75.0	3-5年
	6547	北京	北京盛世好运投资管理有限公司	144570	NaN	盛世金控	2000人以上	['朝外']	技术	管理岗	本科	金融,社交网络	2462755	智慧社区、综合管理	大数据总监	['大数据', '合伙人', '数据']	60	80	70.0	10年以上
	3469	北京	北京盛世好运投资管理有限公司	144570	NaN	盛世金控	2000人以上	['朝外']	技术	管理岗	本科	金融,社交网络	2462755	智慧社区、综合管理	大数据总监	['大数据', '合伙人', '数据']	60	80	70.0	10年以上
南京	4735	南京	江苏思柯瑞数据科技有限公司	133669	NaN	思柯瑞	15-50人	NaN	技术	后端开发	本科	数据服务,移动互联网	2279511	高薪资、提供住宿、高水准研究开发团队	高级爬虫数据工程师	['爬虫', '数据']	20	30	25.0	3-5年
	4747	南京	南京途牛科技有限公司	8250	['绩效奖金', '股票期权', '五险一金', '带薪年假']	途牛旅游网	2000人以上	NaN	技术	数据开发	本科	电子商务,旅游	2168293	年终奖，餐饮补贴，弹性工作，免费班车	大数据开发工程师	['大数据', '数据挖掘', '数据库', '数据']	18	30	24.0	5-10年
	4749	南京	孩子王儿童用品股份有限公司	31945	['节日礼物', '技能培训', '年度旅游', '岗位晋升']	孩子王	2000人以上	['瑞金路', '紫金山', '后宰门']	技术	后端开发	本科	生活服务	2512050	母婴大平台，公司快速发展阶段	大数据架构师	['大数据', '架构师', '数据']	18	28	23.0	5-10年
厦门	4908	厦门	厦门光鱼信息科技有限公司	123068	['年终分红', '交通补助', '美女多', '领导好']	光鱼全景	15-50人	NaN	技术	DBA	本科	移动互联网,企业服务	2559895	双休车食补贴法定节假日医社保年终奖	大数据挖掘工程师	['大数据', '数据挖掘', '数据', '算法']	20	30	25.0	1-3年
	4915	厦门	厦门笨鸟电子商务有限公司	84086	['节日礼物', '股票期权', '带薪年假', '岗位晋升']	笨鸟社交	50-150人	['莲前']	技术	后端开发	硕士	电子商务,社交网络	2042554	牛人多,扁平化,五险一金,员工福利	数据工程师	['数据']	15	30	22.5	不限
	4917	厦门	厦门渊亭信息科技有限公司	128288	['年底双薪', '股票期权', '专项奖金', '绩效奖金']	渊亭信息科技	15-50人	NaN	技术	后端开发	不限	数据服务,企业服务	1894326	广大发展空间	大数据工程师	['大数据', '数据']	10	20	15.0	不限
天津	4997	天津	天津丰赢未来科技有限公司	66805	['技能培训', '带薪年假', '绩效奖金', '岗位晋升']	丰赢未来	少于15人	['李七庄']	技术	后端开发	本科	移动互联网,数据服务	2343332	五险一金，补充医疗保险，带薪休假，话补	大数据工程师数据挖掘方向	['大数据', '数据挖掘', '数据']	15	20	17.5	5-10年
	5001	天津	天津呆萌小斑马科技有限公司	92444	['股票期权', '带薪年假', '帅哥多', '美女多']	AIRCOS	15-50人	NaN	技术	后端开发	本科	移动互联网	2472967	股票期权、弹性工作、美女多	数据工程师	['数据']	12	20	16.0	不限
	4995	天津	北京极数科技有限公司	132876	['股票期权', '年终分红', '带薪年假', '领导好']	数极客	少于15人	['华明']	技术	后端开发	本科	数据服务,企业服务	1934925	大数据平台 创业机会 高额股份期权	大数据开发高级工程师	['大数据', '数据库', '数据']	10	20	15.0	3-5年
广州	4074	广州	三七互娱（上海）科技有限公司	658	['绩效奖金', '五险一金', '通讯津贴', '交通补助']	三七互娱	500-2000人	['天河公园', '棠下', '天园']	技术	高端技术职位	本科	游戏	1110078	互联网30强企业 团队年轻化	数据总监	['数据']	30	60	45.0	5-10年
	4072	广州	广州铁人网络科技有限公司	8695	['技能培训', '专项奖金', '股票期权', '带薪年假']	阿里移动事业群-PP助手	150-500人	['员村', '天河公园', '棠下']	技术	后端开发	本科	移动互联网	2434980	年终分红,五险一金,股票期权,免费三餐	资深数据平台研发工程师	['平台', '后端开发', '数据']	30	50	40.0	5-10年
	4094	广州	优视科技有限公司	2202	['年度分红', '年度奖金', '股票期权', '每年2次加薪']	阿里巴巴移动事业群-UC	2000人以上	['员村', '天河公园', '棠下']	技术	高端技术职位	本科	移动互联网	817308	包四餐（下午茶）、无息贷款买楼车、双休	数据研发工程师(实时方向)	['数据']	30	50	40.0	5-10年
成都	4652	成都	成都数联铭品科技有限公司	42711	['带薪年假', '绩效奖金', '扁平管理', '定期体检']	BBD	150-500人	NaN	技术	高端技术职位	本科	电子商务,数据服务	2324434	带薪年假、扁平管理、发展空间、上市规划	大数据研发总监	['大数据', '数据']	50	80	65.0	5-10年
	4658	成都	上海行邑信息科技有限公司	52905	['股票期权', '心不累', '绩效奖金', '岗位晋升']	Maxent	15-50人	['石羊']	技术	高端技术职位	本科	移动互联网,数据服务	1317528	能力越大，责（quan）任（li）越大	大数据架构师	['大数据', '架构师', '数据']	20	40	30.0	5-10年
	4656	成都	成都运力科技有限公司	19365	['快速成长型', '薪酬优厚', '股票期权', '扁平化管理']	货车帮	500-2000人	NaN	技术	后端开发	本科	移动互联网,电子商务	2437522	优厚薪酬 期权计划 下午茶晚餐 滴滴打车	高级大数据工程师	['大数据', '数据']	20	40	30.0	5-10年
杭州	4557	杭州	上海徕木电子股份有限公司	106239	['节日礼物', '绩效奖金', '美女多', '帅哥多']	徕木电子	2000人以上	['仓前']	职能	高端职能职位	本科	移动互联网,其他	2032485	平台前景 股份 能实现财务自由	业务数据分析专家	['数据分析', '数据']	40	80	60.0	不限
	4442	杭州	厦门市云客网络科技有限公司	23573	['年终分红', '绩效奖金', '股票期权', '专项奖金']	厦门市云客网络科技有限公司	50-150人	NaN	技术	后端开发	大专	移动互联网,电子商务	2478818	五险一金	大数据工程师	['大数据', '数据']	40	80	60.0	3-5年
	4518	杭州	广州库牌电子有限公司	154782	NaN	库牌	15-50人	['西溪']	开发/测试/运维类	数据开发	本科	移动互联网	2522123	弹性上班时间，股票期权	大数据挖掘工程师	['总监', '资深', '高级', '爬虫', '数据挖掘', '大数据', '数据挖掘'...	30	60	45.0	5-10年
武汉	4825	武汉	武汉斗鱼网络科技有限公司	37236	['技能培训', '绩效奖金', '年度旅游', '管理规范']	斗鱼直播	500-2000人	['关山', '光谷', '鲁巷']	开发/测试/运维类	安全	本科	移动互联网	2551255	专业,核心,数据脱敏	高级数据安全工程师	['专家', '数据', '安全']	18	35	26.5	5-10年
	4799	武汉	至易科技武汉有限公司	130686	NaN	至易科技	15-50人	['车站', '永清', '江滩']	技术	后端开发	不限	移动互联网,电子商务	2491598	五险一金，节日福利，带薪年假	大数据	['大数据', '数据']	20	30	25.0	3-5年
	4834	武汉	纽海信息技术(上海)有限公司	8581	['技能培训', '节日礼物', '带薪年假', '岗位晋升']	1号店	2000人以上	NaN	技术	DBA	本科	移动互联网	2514347	电商平台，大数据，高薪资高福利。	BI数据架构师	['架构师', '数据', 'BI']	20	30	25.0	5-10年
深圳	1364	深圳	华为技术有限公司	3060	['技能培训', '节日礼物', '股票期权', '绩效奖金']	华为技术有限公司	2000人以上	NaN	开发/测试/运维类	运维安全	本科	移动互联网,企业服务	2573388	高薪~期权~	安全数据分析专家	['专家', '安全', '网络安全', '病毒分析', '数据分析', '数据']	50	100	75.0	5-10年
	1379	深圳	武汉佰钧成技术有限责任公司	16831	['带薪年假', '计算机软件', '管理规范', '定期体检']	武汉佰钧成技术有限公司	2000人以上	['坂田', '万科城']	开发/测试/运维类	数据开发	本科	移动互联网,分类信息	2568716	五险一金，免费班车	大数据架构师	['资深', '数据分析', '数据挖掘', '机器学习', '图形处理', '人工智能']	40	70	55.0	5-10年
	1396	深圳	深圳市明睿投资管理咨询有限公司	120028	NaN	明睿投资	50-150人	NaN	技术	管理岗	本科	移动互联网,金融	2040814	薪酬待遇丰厚	数据架构师	['架构师', '数据']	38	58	48.0	5-10年
苏州	4976	苏州	智慧芽信息科技（苏州）有限公司	35384	['技能培训', '年底双薪', '节日礼物', '绩效奖金']	智慧芽	150-500人	NaN	技术	高端技术职位	本科	移动互联网	2064345	大数据方向，行业前景广阔	大数据专家	['大数据', '数据']	25	35	30.0	5-10年
	4980	苏州	同程网络科技股份有限公司	3564	['绩效奖金', '股票期权', '专项奖金', '年底双薪']	同程旅游	2000人以上	NaN	技术	高端技术职位	本科	移动互联网,旅游	1818358	扁平管理 发展潜力大 成熟团队	高级大数据架构师	['大数据', '架构师', '数据']	20	40	30.0	5-10年
	4975	苏州	苏州思必驰信息科技有限公司	94	['年底双薪', '五险一金', '弹性工作', '年度旅游']	思必驰科技	150-500人	['独墅湖']	开发/测试/运维类	软件开发	硕士	企业服务	2578959	国内一流语音技术团队	数据分析平台架构师	['架构师', '数据分析', '数据', '平台']	20	35	27.5	5-10年
西安	4885	西安	深圳市易流科技有限公司	5672	['绩效奖金', '年底双薪', '五险一金', '股票期权']	易流	500-2000人	NaN	技术	高端技术职位	本科	移动互联网	2003822	老板nice，氛围好，提升机会多~	数据团队负责人	['数据']	30	40	35.0	5-10年
	4879	西安	北京天晓科技有限公司	157418	['年底双薪', '绩效奖金', '五险']	天晓科技	50-150人	['郭杜']	开发/测试/运维类	软件开发	本科	数据服务,其他	2574659	这是实现你人生价值最好的平台	云计算、大数据(Hadoop\Spark) 技术经理(架构师)	['架构师', '系统集成']	15	30	22.5	3-5年
	4883	西安	北京卡洛其咨询有限公司	143385	NaN	北京卡洛其	15-50人	['三元桥']	技术	后端开发	本科	金融	2351139	十三薪,带薪病假,六险一金,十天年假	数据工程师	['后端开发', '数据']	10	20	15.0	5-10年
长沙	4929	长沙	益丰大药房连锁股份有限公司	6628	['年底双薪', '绩效奖金', '五险一金', '免费午餐']	益丰大药房	2000人以上	NaN	市场与销售	市场/营销	本科	电子商务,医疗健康	2316232	上市公司包吃包住五险一金周末双休年终双薪	统计分析师	['分析师']	10	20	15.0	1-3年
	4940	长沙	天闻数媒科技（北京）有限公司	95484	['专项奖金', '绩效奖金', '岗位晋升', '领导好']	天闻数媒	150-500人	['洞井铺']	技术	后端开发	本科	教育,文化娱乐	2182674	弹性工作	大数据开发工程师	['大数据', '数据库', '数据']	10	20	15.0	3-5年
	4934	长沙	长沙网舜科技有限公司	66137	['年底双薪', '节日礼物', '技能培训', '绩效奖金']	网舜科技	50-150人	['麓谷', '麓谷锦园', '汽车西站']	技术	DBA	大专	移动互联网,电子商务	1708654	带薪年假 年底双薪 包吃住 五险一金	DBA数据分析师	['分析师', '数据分析', '数据库', 'DBA', '数据']	9	18	13.5	3-5年

agg

agg聚合，但是不会对组内拆分

#position.groupby('city').mean()
position.groupby('city').agg('mean')

	companyId	positionId	bottom	top	avg
city
上海	58926.026832	2.165841e+06	12.827657	21.805986	17.316821
北京	54634.330039	2.203200e+06	13.614995	23.588235	18.601615
南京	62690.451220	2.255362e+06	8.073171	13.975610	11.024390
厦门	65063.166667	1.950048e+06	7.700000	14.233333	10.966667
天津	72552.350000	2.221607e+06	6.300000	10.200000	8.250000
广州	60290.002994	2.216999e+06	9.413174	16.044910	12.729042
成都	72924.398496	2.213931e+06	9.526316	16.375940	12.951128
杭州	52364.759901	2.200003e+06	11.868812	21.059406	16.464109
武汉	59865.057971	2.123315e+06	8.101449	14.492754	11.297101
深圳	59699.821839	2.135657e+06	12.722222	22.344828	17.533525
苏州	47339.459459	2.141410e+06	10.594595	18.513514	14.554054
西安	71262.760000	2.183366e+06	7.340000	12.700000	10.020000
长沙	56073.040000	2.130448e+06	6.960000	12.240000	9.600000

#agg调用多种聚合方法
position.groupby('city').agg(['mean','sum'])

	companyId		positionId		bottom		top		avg
	mean	sum	mean	sum	mean	sum	mean	sum	mean	sum
city
上海	58926.026832	57099320	2.165841e+06	2098699631	12.827657	12430	21.805986	21130	17.316821	16780.0
北京	54634.330039	226623201	2.203200e+06	9138874276	13.614995	56475	23.588235	97844	18.601615	77159.5
南京	62690.451220	5140617	2.255362e+06	184939705	8.073171	662	13.975610	1146	11.024390	904.0
厦门	65063.166667	1951895	1.950048e+06	58501438	7.700000	231	14.233333	427	10.966667	329.0
天津	72552.350000	1451047	2.221607e+06	44432139	6.300000	126	10.200000	204	8.250000	165.0
广州	60290.002994	20136861	2.216999e+06	740477755	9.413174	3144	16.044910	5359	12.729042	4251.5
成都	72924.398496	9698945	2.213931e+06	294452821	9.526316	1267	16.375940	2178	12.951128	1722.5
杭州	52364.759901	21155363	2.200003e+06	888801251	11.868812	4795	21.059406	8508	16.464109	6651.5
武汉	59865.057971	4130689	2.123315e+06	146508765	8.101449	559	14.492754	1000	11.297101	779.5
深圳	59699.821839	31163307	2.135657e+06	1114813038	12.722222	6641	22.344828	11664	17.533525	9152.5
苏州	47339.459459	1751560	2.141410e+06	79232161	10.594595	392	18.513514	685	14.554054	538.5
西安	71262.760000	3563138	2.183366e+06	109168280	7.340000	367	12.700000	635	10.020000	501.0
长沙	56073.040000	1401826	2.130448e+06	53261203	6.960000	174	12.240000	306	9.600000	240.0

#agg只能对分组后进行聚合运算，它只能返回一个分组一行的结果
#position.groupby('city').agg(func,N=3,asc=False)报错
position.groupby('city').agg(lambda x:max(x)-min(x))

	companyId	positionId	bottom	top	avg
city
上海	157090	2406115	49	98	73.5
北京	157622	2482622	59	98	73.5
南京	148664	1476696	19	28	23.5
厦门	144494	2382465	17	26	21.5
天津	128827	1938475	13	16	14.5
广州	156545	2433163	29	58	43.5
成都	157691	1827551	49	78	63.5
杭州	156376	2176582	38	77	57.5
武汉	146662	1900647	19	33	25.0
深圳	156878	2500258	49	98	73.5
苏州	135105	2401790	22	35	26.0
西安	154568	1299798	28	37	32.5
长沙	145079	1958454	8	17	12.5