美国大选献金项目数据分析

需求

• 加载数据
• 查看数据的基本信息
• 指定数据截取，将如下字段的数据进行提取，其他数据舍弃
  • cand_nm ：候选人姓名
  • contbr_nm ： 捐赠人姓名
  • contbr_st ：捐赠人所在州
  • contbr_employer ： 捐赠人所在公司
  • contbr_occupation ： 捐赠人职业
  • contb_receipt_amt ：捐赠数额（美元）
  • contb_receipt_dt ： 捐款的日期
• 对新数据进行总览,查看是否存在缺失数据
• 用统计学指标快速描述数值型属性的概要。
• 空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
• 异常值处理。将捐款金额<=0的数据删除
• 新建一列为各个候选人所在党派party
• 查看party这一列中有哪些不同的元素
• 统计party列中各个元素出现次数
• 查看各个党派收到的政治献金总数contb_receipt_amt
• 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
• 将表中日期格式转换为’yyyy-mm-dd’。
• 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁

import pandas as pd
from pandas import DataFrame
import numpy as np

df = pd.read_csv(‘./usa_election.csv’)
df.head()

df = df[[‘cand_nm’,‘contbr_nm’,‘contbr_st’,‘contbr_employer’,‘contbr_occupation’,‘contb_receipt_amt’,‘contb_receipt_dt’]]
df.head(5)

#对新数据进行总览,查看是否存在缺失数据
df.info()

#用统计学指标快速描述数值型属性的概要。
df.describe() #默认情况下是对df中的数值型数据进行统计描述

#对非数值型数据进行统计描述
df[[‘cand_nm’,‘contbr_nm’,‘contbr_st’,‘contbr_employer’,‘contbr_occupation’,‘contb_receipt_dt’]].describe()

#空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE
df.fillna(value=‘NOT PROVIDE’,inplace=True)

#异常值处理。将捐款金额<=0的数据删除
df.loc[df[‘contb_receipt_amt’] <= 0] #获取了异常数据对应的行数据
indexs = df.loc[df[‘contb_receipt_amt’] <= 0].index #获取了异常数据对应的行索引
df.drop(index=indexs,inplace=True)

#新建一列为各个候选人所在党派party

#可以通过百度搜索，找到每一个候选人对应的党派
parties = {
‘Bachmann, Michelle’: ‘Republican’,
‘Romney, Mitt’: ‘Republican’,
‘Obama, Barack’: ‘Democrat’,
“Roemer, Charles E. ‘Buddy’ III”: ‘Reform’,
‘Pawlenty, Timothy’: ‘Republican’,
‘Johnson, Gary Earl’: ‘Libertarian’,
‘Paul, Ron’: ‘Republican’,
‘Santorum, Rick’: ‘Republican’,
‘Cain, Herman’: ‘Republican’,
‘Gingrich, Newt’: ‘Republican’,
‘McCotter, Thaddeus G’: ‘Republican’,
‘Huntsman, Jon’: ‘Republican’,
‘Perry, Rick’: ‘Republican’
}
df[‘party’] = df[‘cand_nm’].map(parties)

#查看party这一列中有哪些不同的元素
df[‘party’].unique()
array([‘Republican’, ‘Democrat’, ‘Reform’, ‘Libertarian’], dtype=object)
#统计party列中各个元素出现次数
df[‘party’].value_counts()

#查看各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by=‘party’)[‘contb_receipt_amt’].sum()

#注意：在Series中调用一个reset_index()可以将其快速变为df表格的样式
df.groupby(by=‘party’)[‘contb_receipt_amt’].sum().reset_index()

df.pivot_table(index=‘party’,values=‘contb_receipt_amt’,aggfunc=‘sum’)

#查看具体每天各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by=[‘contb_receipt_dt’,‘party’])[‘contb_receipt_amt’].sum()

ret = df.pivot_table(index=[‘contb_receipt_dt’,‘party’],values=‘contb_receipt_amt’,aggfunc=‘sum’)
ret

#将表中日期格式转换为’yyyy-mm-dd’。
months = {‘JAN’ : 1, ‘FEB’ : 2, ‘MAR’ : 3, ‘APR’ : 4, ‘MAY’ : 5, ‘JUN’ : 6,
‘JUL’ : 7, ‘AUG’ : 8, ‘SEP’ : 9, ‘OCT’: 10, ‘NOV’: 11, ‘DEC’ : 12}
def transform_date(d):
day,month,year = d.split(‘-’)
month = months[month]
return ‘20’+year+‘-’+str(month)+‘-’+day
df[‘contb_receipt_dt’] = df[‘contb_receipt_dt’].map(transform_date)

#查看老兵(捐献者职业)DISABLED VETERAN主要支持谁
data = df.loc[df[‘contbr_occupation’] == ‘DISABLED VETERAN’]#取出了老兵对应的行数据
#分析老兵给哪位候选人捐赠的金额是最多的
data.groupby(by=‘cand_nm’)[‘contb_receipt_amt’].sum().sort_values(ascending=False)

#分析老兵给哪位候选人捐赠的次数是最多的
#size用来统计每组数据的行数
data.groupby(by=‘cand_nm’).size().sort_values(ascending=False)

内容来自大数据分析课程。