pandas数据分析小案例：以美国大选数据为例

最新推荐文章于 2023-05-19 18:08:16 发布
最新推荐文章于 2023-05-19 18:08:16 发布
阅读量237 收藏
点赞数
文章标签： pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56676945/article/details/129230317
版权

需求

  • 加载数据
  • 查看数据的基本信息
  • 指定数据截取，将如下字段的数据进行提取，其他数据舍弃
    • cand_nm ：候选人姓名
    • contbr_nm ： 捐赠人姓名
    • contbr_st ：捐赠人所在州
    • contbr_employer ： 捐赠人所在公司
    • contbr_occupation ： 捐赠人职业
    • contb_receipt_amt ：捐赠数额（美元）
    • contb_receipt_dt ： 捐款的日期
  • 对新数据进行总览,查看是否存在缺失数据
  • 用统计学指标快速描述数值型属性的概要。
  • 空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
  • 异常值处理。将捐款金额<=0的数据删除
  • 新建一列为各个候选人所在党派party
  • 查看party这一列中有哪些不同的元素
  • 统计party列中各个元素出现次数
  • 查看各个党派收到的政治献金总数contb_receipt_amt
  • 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
  • 将表中日期格式转换为’yyyy-mm-dd’。
  • 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁
import pandas as pd

#方便大家操作，将月份和参选人以及所在政党进行定义：
months = {'JAN': 1, 'FEB': 2, 'MAR': 3, 'APR': 4, 'MAY': 5, 'JUN': 6,
          'JUL': 7, 'AUG': 8, 'SEP': 9, 'OCT': 10, 'NOV': 11, 'DEC': 12}
of_interest = ['Obama, Barack', 'Romney, Mitt', 'Santorum, Rick',
               'Paul, Ron', 'Gingrich, Newt']
parties = {
    'Bachmann, Michelle': 'Republican',
    'Romney, Mitt': 'Republican',
    'Obama, Barack': 'Democrat',
    "Roemer, Charles E. 'Buddy' III": 'Reform',
    'Pawlenty, Timothy': 'Republican',
    'Johnson, Gary Earl': 'Libertarian',
    'Paul, Ron': 'Republican',
    'Santorum, Rick': 'Republican',
    'Cain, Herman': 'Republican',
    'Gingrich, Newt': 'Republican',
    'McCotter, Thaddeus G': 'Republican',
    'Huntsman, Jon': 'Republican',
    'Perry, Rick': 'Republican'
}

# 加载数据
df = pd.read_csv('usa_election.txt')
df

D:\ANACONDA\lib\site-packages\IPython\core\interactiveshell.py:3444: DtypeWarning: Columns (6) have mixed types.Specify dtype option on import or set low_memory=False.
  exec(code_obj, self.user_global_ns, self.user_ns)
cmte_idcand_idcand_nmcontbr_nmcontbr_citycontbr_stcontbr_zipcontbr_employercontbr_occupationcontb_receipt_amtcontb_receipt_dtreceipt_descmemo_cdmemo_textform_tpfile_num
0C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED250.020-JUN-11NaNNaNNaNSA17A736166
1C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED50.023-JUN-11NaNNaNNaNSA17A736166
2C00410118P20002978Bachmann, MichelleSMITH, LANIERLANETTAL368633403.0INFORMATION REQUESTEDINFORMATION REQUESTED250.005-JUL-11NaNNaNNaNSA17A749073
3C00410118P20002978Bachmann, MichelleBLEVINS, DARONDAPIGGOTTAR724548253.0NONERETIRED250.001-AUG-11NaNNaNNaNSA17A749073
4C00410118P20002978Bachmann, MichelleWARDENBURG, HAROLDHOT SPRINGS NATIONAR719016467.0NONERETIRED300.020-JUN-11NaNNaNNaNSA17A736166
...................................................
536036C00500587P20003281Perry, RickANDERSON, MARILEE MRS.INFO REQUESTEDXX99999INFORMATION REQUESTED PER BEST EFFORTSINFORMATION REQUESTED PER BEST EFFORTS2500.031-AUG-11NaNNaNNaNSA17A751678
536037C00500587P20003281Perry, RickTOLBERT, DARYL MR.INFO REQUESTEDXX99999T.A.C.C.LONGWALL MAINTENANCE FOREMAN500.030-SEP-11NaNNaNNaNSA17A751678
536038C00500587P20003281Perry, RickGRANE, BRYAN F. MR.INFO REQUESTEDXX99999INFORMATION REQUESTED PER BEST EFFORTSINFORMATION REQUESTED PER BEST EFFORTS500.029-SEP-11NaNNaNNaNSA17A751678
536039C00500587P20003281Perry, RickDUFFY, DAVID A. MR.INFO REQUESTEDXX99999DUFFY EQUIPMENT COMPANY INC.BUSINESS OWNER2500.030-SEP-11NaNNaNNaNSA17A751678
536040C00500587P20003281Perry, RickGORMAN, CHRIS D. MR.INFO REQUESTEDXX99999INFORMATION REQUESTED PER BEST EFFORTSINFORMATION REQUESTED PER BEST EFFORTS5000.029-SEP-11REATTRIBUTION / REDESIGNATION REQUESTED (AUTOM...NaNREATTRIBUTION / REDESIGNATION REQUESTED (AUTOM...SA17A751678

536041 rows × 16 columns

# 对新数据进行总览,查看是否存在缺失数据
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
 #   Column             Non-Null Count   Dtype  
---  ------             --------------   -----  
 0   cmte_id            536041 non-null  object 
 1   cand_id            536041 non-null  object 
 2   cand_nm            536041 non-null  object 
 3   contbr_nm          536041 non-null  object 
 4   contbr_city        536026 non-null  object 
 5   contbr_st          536040 non-null  object 
 6   contbr_zip         535973 non-null  object 
 7   contbr_employer    525088 non-null  object 
 8   contbr_occupation  530520 non-null  object 
 9   contb_receipt_amt  536041 non-null  float64
 10  contb_receipt_dt   536041 non-null  object 
 11  receipt_desc       8479 non-null    object 
 12  memo_cd            49718 non-null   object 
 13  memo_text          52740 non-null   object 
 14  form_tp            536041 non-null  object 
 15  file_num           536041 non-null  int64  
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

#用统计学指标快速描述数值型属性的概要
df.describe()
contb_receipt_amtfile_num
count5.360410e+05536041.000000
mean3.750373e+02761472.107800
std3.564436e+035148.893508
min-3.080000e+04723511.000000
25%5.000000e+01756218.000000
50%1.000000e+02763233.000000
75%2.500000e+02763621.000000
max1.944042e+06767394.000000
#空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
df.fillna(value='NOT PROVIDE', inplace=True)
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
 #   Column             Non-Null Count   Dtype  
---  ------             --------------   -----  
 0   cmte_id            536041 non-null  object 
 1   cand_id            536041 non-null  object 
 2   cand_nm            536041 non-null  object 
 3   contbr_nm          536041 non-null  object 
 4   contbr_city        536041 non-null  object 
 5   contbr_st          536041 non-null  object 
 6   contbr_zip         536041 non-null  object 
 7   contbr_employer    536041 non-null  object 
 8   contbr_occupation  536041 non-null  object 
 9   contb_receipt_amt  536041 non-null  float64
 10  contb_receipt_dt   536041 non-null  object 
 11  receipt_desc       536041 non-null  object 
 12  memo_cd            536041 non-null  object 
 13  memo_text          536041 non-null  object 
 14  form_tp            536041 non-null  object 
 15  file_num           536041 non-null  int64  
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

# 异常值处理。将捐款金额<=0的数据删除
drop_index = df.loc[df['contb_receipt_amt'] <= 0].index
df.drop(labels=drop_index, axis=0, inplace=True)

# 新建一列为各个候选人所在党派party
df['party'] = df['cand_nm'].map(parties)
df.head()
cmte_idcand_idcand_nmcontbr_nmcontbr_citycontbr_stcontbr_zipcontbr_employercontbr_occupationcontb_receipt_amtcontb_receipt_dtreceipt_descmemo_cdmemo_textform_tpfile_numparty
0C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED250.020-JUN-11NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
1C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED50.023-JUN-11NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
2C00410118P20002978Bachmann, MichelleSMITH, LANIERLANETTAL368633403.0INFORMATION REQUESTEDINFORMATION REQUESTED250.005-JUL-11NOT PROVIDENOT PROVIDENOT PROVIDESA17A749073Republican
3C00410118P20002978Bachmann, MichelleBLEVINS, DARONDAPIGGOTTAR724548253.0NONERETIRED250.001-AUG-11NOT PROVIDENOT PROVIDENOT PROVIDESA17A749073Republican
4C00410118P20002978Bachmann, MichelleWARDENBURG, HAROLDHOT SPRINGS NATIONAR719016467.0NONERETIRED300.020-JUN-11NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
# 查看party这一列中有哪些不同的元素
df['party'].unique()

array(['Republican', 'Democrat', 'Reform', 'Libertarian'], dtype=object)

# 统计party列中各个元素出现次数
df['party'].value_counts()

Democrat       289999
Republican     234300
Reform           5313
Libertarian       702
Name: party, dtype: int64

# 查看各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by='party')['contb_receipt_amt'].sum()

party
Democrat       8.259441e+07
Libertarian    4.132769e+05
Reform         3.429658e+05
Republican     1.251181e+08
Name: contb_receipt_amt, dtype: float64

# 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by=['contb_receipt_dt', 'party'])['contb_receipt_amt'].sum()

contb_receipt_dt  party      
01-APR-11         Reform             50.00
                  Republican      12635.00
01-AUG-11         Democrat       182198.00
                  Libertarian      1000.00
                  Reform           1847.00
                                   ...    
31-MAY-11         Republican     313839.80
31-OCT-11         Democrat       216971.87
                  Libertarian      4250.00
                  Reform           3205.00
                  Republican     751542.36
Name: contb_receipt_amt, Length: 1183, dtype: float64

# 将表中日期格式转换为'yyyy-mm-dd'
df.head()


def transformData(d):
    day, month, year = d.split('-')
    month = months[month]  #将英文形式的月份转换成数字形式的月份
    return '20' + year + '-' + str(month) + '-' + day


df['contb_receipt_dt'] = df['contb_receipt_dt'].map(transformData)
df.head()
cmte_idcand_idcand_nmcontbr_nmcontbr_citycontbr_stcontbr_zipcontbr_employercontbr_occupationcontb_receipt_amtcontb_receipt_dtreceipt_descmemo_cdmemo_textform_tpfile_numparty
0C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED250.02011-6-20NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
1C00410118P20002978Bachmann, MichelleHARVEY, WILLIAMMOBILEAL366010290.0RETIREDRETIRED50.02011-6-23NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
2C00410118P20002978Bachmann, MichelleSMITH, LANIERLANETTAL368633403.0INFORMATION REQUESTEDINFORMATION REQUESTED250.02011-7-05NOT PROVIDENOT PROVIDENOT PROVIDESA17A749073Republican
3C00410118P20002978Bachmann, MichelleBLEVINS, DARONDAPIGGOTTAR724548253.0NONERETIRED250.02011-8-01NOT PROVIDENOT PROVIDENOT PROVIDESA17A749073Republican
4C00410118P20002978Bachmann, MichelleWARDENBURG, HAROLDHOT SPRINGS NATIONAR719016467.0NONERETIRED300.02011-6-20NOT PROVIDENOT PROVIDENOT PROVIDESA17A736166Republican
# 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁，给谁捐赠的钱越多表示越支持谁

#可以先将源数据中的老兵这个职业对应的行数据取出
df_old = df.loc[df['contbr_occupation'] == 'DISABLED VETERAN']
#分组：根据候选人分组，对捐赠金额求和
df_old.groupby(by='cand_nm')['contb_receipt_amt'].sum()  #最支持奥巴马

cand_nm
Cain, Herman       300.00
Obama, Barack     4205.00
Paul, Ron         2425.49
Santorum, Rick     250.00
Name: contb_receipt_amt, dtype: float64

参考视频链接：https://www.bilibili.com/video/BV1Bi4y1m7k7/?p=27&share_source=copy_web&vd_source=1170c577d779798202386e1f343fe38b

白鸟坠入密林
关注
【数据分析案例】（五）美国2020年大选推文情绪分析
CSDN 精品推荐
03-07 211
本项目旨在通过对美国2020年总统选举期间的推文进行情绪分析，深入了解公众在社交媒体上的情感态度。通过挖掘数以百万计的推文，我们试图揭示选民对候选人、政党和选举进程的感知，以及这些情感如何随时间和事件的变化而演变。
100个Python数据分析实战案例
最新发布
CSDN 精品推荐
03-06 928
本专栏整理了《机器学习项目实战100例》，这个专栏涵盖了多种类型的数据挖掘项目，以满足不同用户的各种需求，为大家提供支持，助力完成各类课程设计。内包含项目原理以及源码，每一个项目实例都附带有完整的代码 + 数据集。
数据分析项目3-美国大选献金分析
yxy618的博客
07-18 308
数据分析项目-美国大选献金分析
Python学习：2016年美国大选数据分析（附源文件）
onedyer的博客
05-19 344
1、需求描述：利用2016年美国总统大选数据，选择克林顿和特朗普的数据进行分析，根据每月的平均预测数据与真实数据的平均值之差的绝对值生成热力图，并比较二人的预测偏差大小。图中可看出，对特朗普的预测偏差远远大于对克林顿的预测偏差，说明在人们心目中，特朗普的获胜出人意料，反映了美国大选的割裂性。
美国大选分析(1)
qq_28143929的博客
06-14 746
常规导库导数据 补充数据，columns名做为键名从字典中找到对应值，同时根据值创建新的一列 DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_keys=True,squeeze=False,observed=False,**kwargs) 分组函数...
项目3：美国大选献金目数据分析
weixin_38199399的博客
06-04 238
python项目：美国大选献金目数据分析
数据分析---2012美国大选献金项目数据分析
S1406793的博客
03-16 561
需求： 1. 加载数据 df = pd.read_csv('./data/usa_election.txt') 2. 对新数据进行总览，查看是否存在缺失数据： 方法一：isnull、notnull、any、all 方法二：df.info() df.info() 3. 用统计学指标快速描述数值型属性的概要： df.describe() #统计学指标：数值型属性 4. 空值处理。可能因为忘记填写或者保密等原因，相关字段出现了空值，将其填充为NOT PROVIDE df.
pandas数据分析案例--2012美国总统竞选赞助数据分析
qq_47496372的博客
05-11 699
美国总统竞选赞助数据分析 本文内容参考阿里云天池实验室，在原有基础上添加了重要知识点解析，并结合时政分析各结果产生的原因。 原案例地址 数据来源 1、首先导入相关的python数据分析的库 import pandas as pd import numpy as py import matplotlib.pyplot as plt 2、数据的载入和预览 2.1 数据载入 由于文件较大，数据被分为三...
数据分析案例--2012美国总统竞选赞助数据分析
Michaelyu的博客
03-12 1618
美国总统竞选赞助数据分析 本文来自阿里云天池实验室，案例原地址 自学数据分析的小王同学借鉴一下，自己写一遍，分析一遍，自己做的代码和结果如下 1.导入相关的python数据分析的库 import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline 2.数据载入和总览 2.1由于单个数...
【数据可视化】：Pandas图表绘制，视觉化你的数据故事
![【数据可视化】：Pandas图表绘制，视觉化你的数据故事]...它不仅仅是一种技术手段，更是一种沟通的艺术，能够将大量复杂的数据转化为直观、易于理解的形式，从
python数据分析美国大选项目实战（三）
weixin_34342578的博客
03-12 795
项目介绍 项目地址：https://www.kaggle.com/fivethirtyeight/2016-election-polls   包含了2015年11月至2016年11月期间对于2016美国大选的选票数据，共27列。 项目目的：分析每个月的民意调查统计趋势。 涉及知识点： 高阶函数filter numpy读取文本文件 处理日期格式数据 numpy的切片和索引 numpy的统计方法 列...
2012美国大选献金项目数据分析
weixin_55491232的博客
04-28 330
链接：https://pan.baidu.com/s/18l2AuyVhyPUPN5lg2kg7lA 提取码：60cm
美国大选献金项目分析---用pandas做数据处理的方法
qq_52585260的博客
07-16 155
pandas数据处理项目---美国大选数据
pandas参考文献
todingdong的博客
12-21 671
中文网站 https://www.pypandas.cn/docs/ 关于读取csv https://www.jb51.net/article/163615.htm 关于datafram https://www.cnblogs.com/taolusi/p/9273943.html 10分钟 利用python进行数据分析 第二个是notebook https://github.com/iamsean...
2012联邦选举委员会数据库中赞助人和赞助模式的分析统计
爱吃干脆面的小潘
06-06 593
本例为《利用Python进行数据分析》中第九章最后一节实例，数据来源Github #2012联邦选举委员会数据库中赞助人和赞助模式的分析统计 import pandas as pd import numpy as np from pandas import Series,DataFrame from numpy.random import randn,rand import matplotlib.pyplot as plt fec=pd.read_csv('P00000001-ALL.csv') fec.
【数据分析学习笔记day09】数据分析实战案例：2016美国大选民意调查统计+2016年美国总统大选民意调查数据统计+示例代码1 +示例代码2：
汪雯琦的博客
01-25 2745
文章目录2016年美国总统大选民意调查数据统计：示例代码1 ：示例代码2： 2016年美国总统大选民意调查数据统计： 项目地址：https://www.kaggle.com/fivethirtyeight/2016-election-polls 该数据集包含了2015年11月至2016年11月期间对于2016美国大选的选票数据，共27列数据 示例代码1 ： # loadtxt import...
Pandas方法实践-2012美国总统竞选赞助数据分析
qq_43314839的博客
08-27 1449
目录 1. 数据载入和总览 1.1 数据载入(pd.read_csv()) 1.2 数据合并(pd.concat()) 1.3 数据预览和基本统计分析 2. 数据清洗 2.1 缺失值处理​ 2.2 数据转换 利用字典映射进行转换：党派分析 排序：按照职业汇总对赞助总金额进行排序 利用函数进行数据转换：职业与雇主信息分析 2.3 数据筛选 赞助金额筛选 候选人筛选（O...
2012美国大选献金项目数据分析（有史以来最全面）
AI World
11-12 8073
目录数据载入与总览新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 数据载入与总览 你好！ 这是你第一次使用 M...
Pandas数据分析基础教程：一文掌握Series和DataFrame
Pandas是一个强大的数据分析工具，其核心在于Series和DataFrame数据结构。Series类似于一维数组，而DataFrame则是二维表格。Pandas提供了丰富的索引对象，支持灵活的数据操作。通过理解和熟练使用这些概念，可以极大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值