pandas_总统选举数据分析分析

最新推荐文章于 2021-10-24 21:21:01 发布
最新推荐文章于 2021-10-24 21:21:01 发布
阅读量429 收藏 2
点赞数 1
分类专栏： pandas 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42878736/article/details/106770974
版权

pandas数据分析
http://www.fec.gov/disclosurep/PDownload.do 总统数据下载

  • fec.cand_nm.unique() 统计所有人名列表

  • fec[‘party’] = fec.cand_nm.map(parties) 把parties字典中和cand_nm对应的放在新的一列party中，map操作

  • fec[‘party’].value_counts() 统计列party中的每个value的总数

  • fec.loc[:,[‘party’,‘cand_nm’]] 取指定两列

  • (fec.contb_receipt_amt > 0).value_counts() 判断返回布尔值，并对二值统计

  • fec = fec[fec.contb_receipt_amt > 0] 限定该数据集出资大于零的

  • fec_mrbo = fec[fec.cand_nm.isin([‘Obama, Barack’,‘Romney, Mitt’])]
    把指定列中的满足条件的数据重新生成新的dataframe

  • fec.contbr_occupation.value_counts() 出资人统计，默认重大到小排序

  • f = lambda x: occ_mapping.get(x,x)
    存在字典中的返回字典的value，不存在返回原值
    fec.contbr_occupation = fec.contbr_occupation.map(f) series循环操作value
    map方法只能作用在series中

  • over_2mm = by_occupation[by_occupation.sum(1) > 2000000]#过滤出资金超两百万的

  • over_2mm.plot(kind=‘barh’)#横向条形

  • grouped 分组

def	get_top_amounts(group,key,n=5):
     totals	=	group.groupby(key)['contb_receipt_amt'].sum()
    return	totals.nlargest(n)#  nlargest最大前n个
grouped	=	fec_mrbo.groupby('cand_nm')  #根据职业和雇主进行聚合
grouped.apply(get_top_amounts,'contbr_occupation',n=7)

  • 数据分组
    bins=np.array([0,1,10,100,1000,10000,100000,1000000,10000000])
    labels=pd.cut(fec_mrbo.contb_receipt_amt,bins)

  • cand_nm为行名，labels为列名显示
    grouped =fec_mrbo.groupby([‘cand_nm’,labels])
    grouped.size().unstack(0) 花括号结构转表格结构

  • bucket_sums = grouped.contb_receipt_amt.sum().unstack(0)
    normed_sums = bucket_sums.div(bucket_sums.sum(axis=1), axis=0)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

fec = pd.read_csv(r'C:\Users\Administrator\Desktop\pandas_01\fec\P00000001-ALL.csv')

unique_cands = fec.cand_nm.unique()#所有参选人
unique_cands

array(['Bachmann, Michelle', 'Romney, Mitt', 'Obama, Barack',
       "Roemer, Charles E. 'Buddy' III", 'Pawlenty, Timothy',
       'Johnson, Gary Earl', 'Paul, Ron', 'Santorum, Rick',
       'Cain, Herman', 'Gingrich, Newt', 'McCotter, Thaddeus G',
       'Huntsman, Jon', 'Perry, Rick'], dtype=object)

len(unique_cands)

13

parties = {'Bachmann, Michelle':'Republican',
'Cain, Herman':'Republican',
'Gingrich, Newt':'Republican',
'Huntsman, Jon':'Republican',
'Johnson, Gary Earl':'Republican',
'McCotter, Thaddeus G':'Republican',
'Obama, Barack':'Democrat',
'Paul, Ron':'Republican',
'Pawlenty, Timothy':'Republican',
'Perry, Rick':'Republican',
"Roemer, Charles E. 'Buddy' III":'Republican',
'Romney, Mitt':'Republican',
'Santorum, Rick':'Republican'}

parties

{'Bachmann, Michelle': 'Republican',
 'Cain, Herman': 'Republican',
 'Gingrich, Newt': 'Republican',
 'Huntsman, Jon': 'Republican',
 'Johnson, Gary Earl': 'Republican',
 'McCotter, Thaddeus G': 'Republican',
 'Obama, Barack': 'Democrat',
 'Paul, Ron': 'Republican',
 'Pawlenty, Timothy': 'Republican',
 'Perry, Rick': 'Republican',
 "Roemer, Charles E. 'Buddy' III": 'Republican',
 'Romney, Mitt': 'Republican',
 'Santorum, Rick': 'Republican'}

fec['party'] = fec.cand_nm.map(parties)


fec['party'].value_counts()

Democrat      593746
Republican    407985
Name: party, dtype: int64

fec.loc[:,['party','cand_nm']]
partycand_nm
0RepublicanBachmann, Michelle
1RepublicanBachmann, Michelle
2RepublicanBachmann, Michelle
3RepublicanBachmann, Michelle
4RepublicanBachmann, Michelle
.........
1001726RepublicanPerry, Rick
1001727RepublicanPerry, Rick
1001728RepublicanPerry, Rick
1001729RepublicanPerry, Rick
1001730RepublicanPerry, Rick

1001731 rows × 2 columns

(fec.contb_receipt_amt > 0).value_counts()#赞助费，包含退款

True     991475
False     10256
Name: contb_receipt_amt, dtype: int64

fec	=	fec[fec.contb_receipt_amt	>	0]#限定该数据集只能有正出资
fec_mrbo = fec[fec.cand_nm.isin(['Obama, Barack','Romney, Mitt'])]
fec.contbr_occupation.value_counts()[:10]#出资人出资统计

RETIRED                                   233990
INFORMATION REQUESTED                      35107
ATTORNEY                                   34286
HOMEMAKER                                  29931
PHYSICIAN                                  23432
INFORMATION REQUESTED PER BEST EFFORTS     21138
ENGINEER                                   14334
TEACHER                                    13990
CONSULTANT                                 13273
PROFESSOR                                  12555
Name: contbr_occupation, dtype: int64

occ_mapping = {'INFORMATION	REQUESTED PER BEST EFFORTS':'NOT PROVIDED',
'INFORMATION REQUESTED' : 'NOT PROVIDED',
'INFORMATION REQUESTED (BEST EFFORTS)' : 'NOT PROVIDED',
'C.E.O.': 'CEO'}

f = lambda x: occ_mapping.get(x,x)#存在字典中的返回字典的value，不存在返回原值
fec.contbr_occupation = fec.contbr_occupation.map(f)

emp_mapping = {'INFORMATION	REQUESTED PER BEST EFFORTS' : 'NOT PROVIDED',
'INFORMATION REQUESTED' : 'NOT PROVIDED',
'SELF' : 'SELF-EMPLOYED',
'SELF EMPLOYED' : 'SELF-EMPLOYED',}#雇主信息
f = lambda x:emp_mapping.get(x,x)
fec.contbr_employer = fec.contbr_employer.map(f)

by_occupation = fec.pivot_table('contb_receipt_amt',index='contbr_occupation',columns='party',aggfunc='sum')
#contb_receipt_amt赞助费那列

over_2mm = by_occupation[by_occupation.sum(1) > 2000000]#过滤出资金超两百万的
over_2mm
partyDemocratRepublican
contbr_occupation
ATTORNEY11141982.977.477194e+06
CEO2074974.794.211041e+06
CONSULTANT2459912.712.544725e+06
ENGINEER951525.551.818374e+06
EXECUTIVE1355161.054.138850e+06
HOMEMAKER4248875.801.363428e+07
INFORMATION REQUESTED PER BEST EFFORTSNaN1.634053e+07
over_2mm.plot(kind='barh')#横向条形

<matplotlib.axes._subplots.AxesSubplot at 0x28a2e8604e0>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2yyw6mhe-1592225133002)(output_20_1.png)]

def	get_top_amounts(group,key,n=5):
    totals	=	group.groupby(key)['contb_receipt_amt'].sum()
    return	totals.nlargest(n)
grouped	=	fec_mrbo.groupby('cand_nm')#根据职业和雇主进行聚合
grouped.apply(get_top_amounts,'contbr_occupation',n=7)

cand_nm        contbr_occupation                     
Obama, Barack  RETIRED                                   25305116.38
               ATTORNEY                                  11141982.97
               INFORMATION REQUESTED                      4866973.96
               HOMEMAKER                                  4248875.80
               PHYSICIAN                                  3735124.94
               LAWYER                                     3160478.87
               CONSULTANT                                 2459912.71
Romney, Mitt   RETIRED                                   11508473.59
               INFORMATION REQUESTED PER BEST EFFORTS    11396894.84
               HOMEMAKER                                  8147446.22
               ATTORNEY                                   5364718.82
               PRESIDENT                                  2491244.89
               EXECUTIVE                                  2300947.03
               C.E.O.                                     1968386.11
Name: contb_receipt_amt, dtype: float64

grouped.apply(get_top_amounts,'contbr_employer',n=10)

cand_nm        contbr_employer                       
Obama, Barack  RETIRED                                   22694358.85
               SELF-EMPLOYED                             17080985.96
               NOT EMPLOYED                               8586308.70
               INFORMATION REQUESTED                      5053480.37
               HOMEMAKER                                  2605408.54
               SELF                                       1076531.20
               SELF EMPLOYED                               469290.00
               STUDENT                                     318831.45
               VOLUNTEER                                   257104.00
               MICROSOFT                                   215585.36
Romney, Mitt   INFORMATION REQUESTED PER BEST EFFORTS    12059527.24
               RETIRED                                   11506225.71
               HOMEMAKER                                  8147196.22
               SELF-EMPLOYED                              7409860.98
               STUDENT                                     496490.94
               CREDIT SUISSE                               281150.00
               MORGAN STANLEY                              267266.00
               GOLDMAN SACH & CO.                          238250.00
               BARCLAYS CAPITAL                            162750.00
               H.I.G. CAPITAL                              139500.00
Name: contb_receipt_amt, dtype: float64

bins=np.array([0,1,10,100,1000,10000,100000,1000000,10000000])#出资额分组
labels=pd.cut(fec_mrbo.contb_receipt_amt,bins)
labels

411         (10, 100]
412       (100, 1000]
413       (100, 1000]
414         (10, 100]
415         (10, 100]
             ...     
701381      (10, 100]
701382    (100, 1000]
701383        (1, 10]
701384      (10, 100]
701385    (100, 1000]
Name: contb_receipt_amt, Length: 694282, dtype: category
Categories (8, interval[int64]): [(0, 1] < (1, 10] < (10, 100] < (100, 1000] < (1000, 10000] < (10000, 100000] < (100000, 1000000] < (1000000, 10000000]]

grouped	=fec_mrbo.groupby(['cand_nm',labels])

grouped.size().unstack(0)
cand_nmObama, BarackRomney, Mitt
contb_receipt_amt
(0, 1]49377
(1, 10]400703681
(10, 100]37228031853
(100, 1000]15399143357
(1000, 10000]2228426186
(10000, 100000]21
(100000, 1000000]30
(1000000, 10000000]40
bucket_sums	=	grouped.contb_receipt_amt.sum().unstack(0)

normed_sums	=	bucket_sums.div(bucket_sums.sum(axis=1),	axis=0)
normed_sums
cand_nmObama, BarackRomney, Mitt
contb_receipt_amt
(0, 1]0.8051820.194818
(1, 10]0.9187670.081233
(10, 100]0.9107690.089231
(100, 1000]0.7101760.289824
(1000, 10000]0.4473260.552674
(10000, 100000]0.8231200.176880
(100000, 1000000]1.000000NaN
(1000000, 10000000]1.000000NaN
normed_sums[:-2].plot(kind='barh')#两位候选⼈收到的各种捐赠额度的总额⽐例

<matplotlib.axes._subplots.AxesSubplot at 0x28a35730550>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J5IXppVJ-1592225133003)(output_28_1.png)]

grouped = fec_mrbo.groupby(['cand_nm','contbr_st'])
totals = grouped.contb_receipt_amt.sum().unstack(0).fillna(0)#contb_receipt_amt出资金额
totals = totals[totals.sum(1) > 100000]
totals[:5]#根据州统计赞助信息
cand_nmObama, BarackRomney, Mitt
contbr_st
AK281840.1586204.24
AL543123.48527303.51
AR359247.28105556.00
AZ1506476.981888436.23
CA23824984.2411237636.60
percent = totals.div(totals.sum(1),axis=0)#在各州的比例sum(1)表示横向求和
percent[:5]#候选人在各州的总赞助额比率
cand_nmObama, BarackRomney, Mitt
contbr_st
AK0.7657780.234222
AL0.5073900.492610
AR0.7729020.227098
AZ0.4437450.556255
CA0.6794980.320502
冒的感觉的疯子
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用Python进行数据分析-ch02-来自bit.ly的1.usa.gov数据
Evan Programming
01-28 1052
ch02 ’本书将要向你介绍的是用于高效处理数据的Python工具。虽然读者各自工作的最终目的千差万别，但基本上都需要完成一下几个大类的任务： 与外界进行交互 准备 转换 建模和计算 展示 内容提要 从txt读入json格式数据，转化为字典 使用Python字典函数对字典中某一特定元素进行计数 绘制柱状图，并运用
python集合操作班级干部竞选_《利用python进行数据分析》读书笔记--第九章 数据聚合与分组运算（二）...
weixin_39721009的博客
12-10 469
#-*- encoding:utf-8 -*-import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom pandas import Series,DataFrame#加载数据,150M+,用时8.7sfec = pd.read_csv('E:\\P00000001-ALL.csv')print fec,'\n'...
python答辩准备
starspicking的博客
06-25 1721
jupyter（python课） http://10.80.98.127:8080/tree/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%85%A5%E9%97%A8%EF%BC%88Python%EF%BC%89/%E7%AC%AC15%E5%91%A8%EF%BC%9A%E8%AF%BE%E7%A8%8B%E7%9F%A5%E8%AF%86%E7%82%B9%E6%80%BB%E7%BB%93 point 1 # 获取数据集，读取第一行数据 path= "bi
第2章-2 用pandas对时区进行计数 学习笔记
nightvv的博客
12-26 730
基本没看懂，照着书把代码copy了一遍，简直呵呵 #!-*-coding:utf-8-*- import json path = "C:\Python learn\pydata-book-master\ch02\usagov_bitly_data2012-03-16-1331923249.txt" records = [json.loads(line) for line in open(pat
第九章 数据分组与聚合（下）
yunini2的博客
06-27 780
import pandas as pd from pandas import Series fec=pd.read_csv("e:/P00000001-ALL.csv") fec[:2]      cmte_id    cand_id             cand_nm        contbr_nm contbr_city  \ 0  C00410118  P20002978  Bachm
meal_order_detail 数据分析 pandas python
08-29
meal_order_detail1 meal_order_detail2 meal_order_detail3 pandas python jupyter notebook 大数据
python数据分析pandas数据源
10-09
python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析...
Pandas数据分析代码
最新发布
04-25
Pandas数据分析代码
数据分析+pandas
01-22
pandas笔记，整合大部分场景，遇到问题直接搜索就可以找到对应答案，欢迎大家下载
Pandas 数据分析实战学习课程
03-23
Pandas 数据分析实战学习课程，有需要的速度保存！ 共六章33节课程。让你3 小时掌握数据分析核心技能。
contb_01.csv2012美国政治献金
05-20
千锋教育数据分析
python数据分析-献金数据contb-1.csv,contb-2.csv,contb-3.csv
01-20
python数据分析--献金数据 适合python数据分析入门练习所用 包含三个：contb_1.csv,contb_2.csv,contb_3.csv
Pandas方法实践-2012美国总统竞选赞助数据分析
qq_43314839的博客
08-27 995
目录 1. 数据载入和总览 1.1 数据载入(pd.read_csv()) 1.2 数据合并(pd.concat()) 1.3 数据预览和基本统计分析 2. 数据清洗 2.1 缺失值处理​ 2.2 数据转换 利用字典映射进行转换：党派分析 排序：按照职业汇总对赞助总金额进行排序 利用函数进行数据转换：职业与雇主信息分析 2.3 数据筛选 赞助金额筛选 候选人筛选（O...
pandas - 案例(美国2012年总统候选人政治献金数据分析)
Python热爱者的博客
09-06 837
# 提供数据 months = {'JAN' : 1, 'FEB' : 2, 'MAR' : 3, 'APR' : 4, 'MAY' : 5, 'JUN' : 6, 'JUL' : 7, 'AUG' : 8, 'SEP' : 9, 'OCT': 10, 'NOV': 11, 'DEC' : 12} parties = { 'Bachmann, Michelle': 'Re...
天池python训练营D10-D11
derek_dz的博客
12-30 148
学习目标： 利用python技能进行数据分析 D10-D12 实战训练 案例 - 利用Pandas分析美国选民总统喜好度 案例背景 略 数据集介绍 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。 关键字段说明 CAND_ID 候选人ID CAND_NAME 候选人姓名 CAND_PTY_AFFILIATION 候选人党派 候选人委员会链接信息 该文件显示候选人的身份证
2015-04-08-数据聚合与分组运算(3)-透视表和交叉表+2012联邦选举委员会数据库
chenzhenzhu2011的专栏
04-08 1541
--------------------------------------------------------------------------------------- -----(四)、透视表和交叉表 from pandas import DataFrame,Series import numpy as np import pandas as pd cd L:\czz tips
python数据聚合分组实战-----2012联邦选举委员会数据库
热门推荐
洪源的博客
10-20 1万+
目录 数据来源： 根据职业和雇主统计赞助信息 对出资额分组 根据州统计赞助信息 数据来源： https://github.com/wesm/pydata-book &gt;&gt;&gt; fec = pd.read_csv('D:\python\DataAnalysis\data\P00000001-ALL.csv',low_memory = False) &gt;&gt;&gt...
【Unity】Spine换装 - Unity3D图片换装方案
PA_的博客
09-17 5718
Spine是一款专门为软件和游戏开发设计,量身打造的2D动画软件。动画师,原画师和程序共同为您的游戏赋予生命。 官网介绍:http://zh.esotericsoftware.com/spine-using-runtimes ------------------------------------- Spine本身提供了2个方法来换装，分别是换全套和换某部分。 这两个方法都是使用了Spi...
2012美国大选献金项目数据分析
HG0724的博客
10-24 952
文章目录需求一、数据预处理二、分析数据 需求 获取源数据–密码：hxqy 读取文件usa_election.txt 查看文件样式及基本信息 指定数据截取，将如下字段的数据进行提取，其他数据舍去： cand_nm :候选人姓名 contbr_nm :捐赠人姓名 contbr_st :捐赠人所在州 contbr_employer :捐赠人所在公司 contbr_occupation :捐赠人职业 contb_receipt_amt :捐赠金额 contb_receipt_dt :捐赠日期 使用np.u
pandas实验_外卖数据分析
04-08
Pandas是一个强大的数据分析工具，它提供了丰富的数据结构和数据处理功能，可以帮助我们对外卖数据进行分析。下面是一些常用的Pandas实验步骤： 1. 导入Pandas库：首先需要导入Pandas库，可以使用以下代码： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值