pandas选民总统喜好度

最新推荐文章于 2024-11-14 13:48:50 发布
最新推荐文章于 2024-11-14 13:48:50 发布
阅读量674 收藏 1
点赞数 1
分类专栏： 阿里云天池 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51345515/article/details/119464241
版权

  1. 分析了2020.7.22-2020.8.20期间75w+条捐赠数据，揭秘美国选民对总统候选人的喜好

  2. 利用pandas, matplotlib, wordcloud第三方库

一、前言

1.1 候选人信息（weball20.txt）

CAND_ID 候选人ID

CAND_NAME 候选人姓名

CAND_PTY_AFFILIATION 候选人党派

1.2 候选人委员会信息（ccl.txt）

CAND_ID 候选人ID

CAND_ELECTION_YR 候选人选举年份

CMTE_ID 委员会ID

1.3 个人捐款档案信息（itcont.txt）

CMTE_ID 委员会ID

NAME 捐款人姓名

CITY 捐款人所在市

State 捐款人所在州

EMPLOYER 捐款人雇主/公司

OCCUPATION 捐款人职业

1.4 需要提前安装包

# 安装词云处理包wordcloud
!pip install wordcloud --user

1.5提前下载的数据集

在进行数据处理前，你需要点击DSW左侧天池tab，下载本案例数据集2020_US_President_political_contributions。

在这里插入图片描述

二、数据处理

想分析候选人与捐赠人之间的关系，所以我们想要一张数据表中有捐赠人与候选人一一对应的关系。

2.1 委员会和候选人对应CAND_ID关联两个表

import pandas as pd
# 读取候选人信息，由于原始数据没有表头，需要添加表头
candidates = pd.read_csv("weball20.txt", sep = '|',names=['CAND_ID','CAND_NAME','CAND_ICI','PTY_CD','CAND_PTY_AFFILIATION','TTL_RECEIPTS',                                               'TRANS_FROM_AUTH','TTL_DISB','TRANS_TO_AUTH','COH_BOP','COH_COP','CAND_CONTRIB',                                                     'CAND_LOANS','OTHER_LOANS','CAND_LOAN_REPAY','OTHER_LOAN_REPAY','DEBTS_OWED_BY',
                                                          'TTL_INDIV_CONTRIB','CAND_OFFICE_ST','CAND_OFFICE_DISTRICT','SPEC_ELECTION','PRIM_ELECTION','RUN_ELECTION'
                                                          ,'GEN_ELECTION','GEN_ELECTION_PRECENT','OTHER_POL_CMTE_CONTRIB','POL_PTY_CONTRIB',
                                                          'CVG_END_DT','INDIV_REFUNDS','CMTE_REFUNDS'])

# 读取候选人和委员会的联系信息
ccl = pd.read_csv("ccl.txt", sep = '|',names=['CAND_ID','CAND_ELECTION_YR','FEC_ELECTION_YR','CMTE_ID','CMTE_TP','CMTE_DSGN','LINKAGE_ID'])

# 关联两个表数据
ccl = pd.merge(ccl,candidates)
# 提取出所需要的列
ccl = pd.DataFrame(ccl, columns=[ 'CMTE_ID','CAND_ID', 'CAND_NAME','CAND_PTY_AFFILIATION'])

# 查看目前ccl数据前10行
ccl.head(10)
CMTE_IDCAND_IDCAND_NAMECAND_PTY_AFFILIATION
0C00697789H0AL01055CARL, JERRY LEE, JRREP
1C00701557H0AL01063LAMBERT, DOUGLAS WESTLEY IIIREP
2C00701409H0AL01071PRINGLE, CHRISTOPHER PAULREP
3C00703066H0AL01089HIGHTOWER, BILLREP
4C00708867H0AL01097AVERHART, JAMESDEM
5C00710947H0AL01105GARDNER, KIANI ADEM
6C00722512H0AL01121CASTORANI, JOHNREP
7C00725069H0AL01139COLLINS, FREDERICK G. RICK’DEM
8C00462143H0AL02087ROBY, MARTHAREP
9C00493783H0AL02087ROBY, MARTHAREP

2.2 将候选人和捐赠人一一对应，通过CMTE_ID关联两个表

# 读取个人捐赠数据，由于原始数据没有表头，需要添加表头
# 提示：读取本文件大概需要5-10s
itcont = pd.read_csv('itcont_2020_20200722_20200820.txt', sep='|',names=['CMTE_ID','AMNDT_IND','RPT_TP','TRANSACTION_PGI',                 'IMAGE_NUM','TRANSACTION_TP','ENTITY_TP','NAME','CITY',
                                          'STATE','ZIP_CODE','EMPLOYER','OCCUPATION','TRANSACTION_DT',               'TRANSACTION_AMT','OTHER_ID','TRAN_ID','FILE_NUM','MEMO_CD',
                                                                                  'MEMO_TEXT','SUB_ID'])

# 将候选人与委员会关系表ccl和个人捐赠数据表itcont合并，通过 CMTE_ID
c_itcont =  pd.merge(ccl,itcont)
# 提取需要的数据列
c_itcont = pd.DataFrame(c_itcont, columns=[ 'CAND_NAME','NAME', 'STATE','EMPLOYER','OCCUPATION',
                                           'TRANSACTION_AMT', 'TRANSACTION_DT','CAND_PTY_AFFILIATION'])

# 查看目前数据前10行
c_itcont.head(10)
CAND_NAMENAMESTATEEMPLOYEROCCUPATIONTRANSACTION_AMTTRANSACTION_DTCAND_PTY_AFFILIATION
0MORGAN, JOSEPH DAVIDMARTIN, WILLIAM IIAZRETIREDRETIRED1007242020REP
1MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH407242020REP
2MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH407312020REP
3WOOD, DANIELHOPKINS, RICHARDAZPOWERS-LEAVITTINSURANCE AGENT3008102020REP
4WOOD, DANIELPENDLETON, DIANEAZUNEMPLOYEDNaN5008072020REP
5WOOD, DANIELPREVATT, WILLIAMAZSELF-EMPLOYEDDVM5007312020REP
6WOOD, DANIELHARDING, DOUGAZMICROSUREOPERATIONS MANAGER28008102020REP
7WOOD, DANIELHARDING, MARIAZNaNNaN14008152020REP
8WOOD, DANIELHEDGER, CYNTHIATXNaNNaN2007312020REP
9HUANG, PEGGYHUANG - PERSONAL FUNDS, PEGGYCAOFFICE OF THE ATTORNEY GENERALDEPUTY ATTORNEY GENERAL26007252020

2.3数据探索与清理

# 查看数据规模 多少行 多少列
c_itcont.shape    #(756205, 8)

# 查看整体数据信息，包括每个字段的名称、非空数量、字段的数据类型
c_itcont.info()    #占内存51.9MB

#空值处理，统一填充 NOT PROVIDED
c_itcont['STATE'].fillna('NOT PROVIDED',inplace=True)
c_itcont['EMPLOYER'].fillna('NOT PROVIDED',inplace=True)
c_itcont['OCCUPATION'].fillna('NOT PROVIDED',inplace=True)

# 对日期TRANSACTION_DT列进行处理
c_itcont['TRANSACTION_DT'] = c_itcont['TRANSACTION_DT'] .astype(str)
# 将日期格式改为年月日  7242020	
c_itcont['TRANSACTION_DT'] = [i[3:7]+i[0]+i[1:3] for i in c_itcont['TRANSACTION_DT'] ]

# 再次查看数据信息
c_itcont.info()

# 查看数据前3行
c_itcont.head(3)
CAND_NAMENAMESTATEEMPLOYEROCCUPATIONTRANSACTION_AMTTRANSACTION_DTCAND_PTY_AFFILIATION
0MORGAN, JOSEPH DAVIDMARTIN, WILLIAM IIAZRETIREDRETIRED1002020724REP
1MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH402020724REP
2MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH402020731REP
# 查看数据表中数据类型的列的数据分布情况
c_itcont.describe()
TRANSACTION_AMT
count7.562050e+05
mean1.504307e+02
std2.320452e+03
min-5.600000e+03
25%2.000000e+01
50%3.500000e+01
75%1.000000e+02
max1.500000e+06
# 查看单列的数据发布情况
c_itcont['CAND_NAME'].describe()

count                 756205
,unique                   312
,top       BIDEN, JOSEPH R JR
,freq                  507816
,Name: CAND_NAME, dtype: object

2.4 数据分析

# 计算每个党派的所获得的捐款总额，然后排序，取前十位
c_itcont.groupby("CAND_PTY_AFFILIATION").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_PTY_AFFILIATION
DEM75961730
REP37170653
IND328802
LIB169202
DFL76825
GRE18607
NON11256
UNK10195
CON4117
BDY3250
# 计算每个总统候选人所获得的捐款总额，然后排序，取前十位
c_itcont.groupby("CAND_NAME").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_NAME
BIDEN, JOSEPH R JR68111142
TRUMP, DONALD J.16594982
SULLIVAN, DAN9912465
JACOBS, CHRISTOPHER L.6939209
BLOOMBERG, MICHAEL R.3451916
MARKEY, EDWARD J. SEN.606832
SHAHEEN, JEANNE505446
KENNEDY, JOSEPH P III467738
CORNYN, JOHN SEN345959
FIGLESTHALER, WILLIAM MATTHEW MD258221

4、数据分析

# 计算每个党派的所获得的捐款总额，然后排序，取前十位

c_itcont.groupby("CAND_PTY_AFFILIATION").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_PTY_AFFILIATION
DEM75961730
REP37170653
IND328802
LIB169202
DFL76825
GRE18607
NON11256
UNK10195
CON4117
BDY3250
# 计算每个总统候选人所获得的捐款总额，然后排序，取前十位

c_itcont.groupby("CAND_NAME").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_NAME
BIDEN, JOSEPH R JR68111142
TRUMP, DONALD J.16594982
SULLIVAN, DAN9912465
JACOBS, CHRISTOPHER L.6939209
BLOOMBERG, MICHAEL R.3451916
MARKEY, EDWARD J. SEN.606832
SHAHEEN, JEANNE505446
KENNEDY, JOSEPH P III467738
CORNYN, JOHN SEN345959
FIGLESTHALER, WILLIAM MATTHEW MD258221

获得捐赠最多的党派有DEM(民主党)、REP(共和党)，分别对应BIDEN, JOSEPH R JR(拜登)和TRUMP, DONALD J.(特朗普)。

# 查看每个州捐款人的数量
c_itcont['STATE'].value_counts().head(5)

CA    127895
,TX     54457
,FL     54343
,NY     49453
,MA     29314
,Name: STATE, dtype: int64

CA(加利福利亚)、NY(纽约)、FL(弗罗里达)这几个州的捐款是最多的

三、数据可视化

3.1 按州总捐款数和总捐款数柱状图

导入相关库

# 导入matplotlib中的pyplot
import matplotlib.pyplot as plt
# 为了使matplotlib图形能够内联显示
%matplotlib inline
# 导入词云库
from wordcloud import WordCloud,ImageColorGenerator

# 各州总捐款数可视化
st_amt = c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False)[:10]
st_amt=pd.DataFrame(st_amt, columns=['TRANSACTION_AMT'])
st_amt.plot(kind='bar')

在这里插入图片描述

3.2 各州捐款总人数可视化

# 各州捐款总人数可视化，取前10个州的数据
st_amt = c_itcont.groupby('STATE').size().sort_values(ascending=False).head(10)
st_amt.plot(kind='bar')

在这里插入图片描述

3.3 热门候选人拜登在各州的获得的捐赠占比

# 从所有数据中取出支持拜登的数据
biden = c_itcont[c_itcont['CAND_NAME']=='BIDEN, JOSEPH R JR']
# 统计各州对拜登的捐款总数
biden_state = biden.groupby('STATE').sum().sort_values("TRANSACTION_AMT", ascending=False).head(10)
# 饼图可视化各州捐款数据占比
biden_state.plot.pie(figsize=(10, 10),autopct='%0.2f%%',subplots=True)

在这里插入图片描述

3.4总捐款最多的候选人捐赠者词云图

https://img.alicdn.com/tfs/TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg

# 由于下载图片文件名过长，我们对文件名进行重命名
import os
os.rename('TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg', 'biden.jpg')

# 在4.2 热门候选人拜登在各州的获得的捐赠占比 中我们已经取出了所有支持拜登的人的数据，存在变量：biden中
# 将所有捐赠者姓名连接成一个字符串
data = ' '.join(biden["NAME"].tolist())
# 读取图片文件
bg = plt.imread("biden.jpg")
# 生成
wc = WordCloud(# FFFAE3
    background_color="white",  # 设置背景为白色，默认为黑色
    width=890,  # 设置图片的宽度
    height=600,  # 设置图片的高度
    mask=bg,    # 画布
    margin=10,  # 设置图片的边缘
    max_font_size=100,  # 显示的最大的字体大小
    random_state=20,  # 为每个单词返回一个PIL颜色
).generate_from_text(data)
# 图片背景
bg_color = ImageColorGenerator(bg)
# 开始画图
plt.imshow(wc.recolor(color_func=bg_color))
# 为云图去掉坐标轴
plt.axis("off")
# 画云图，显示
# 保存云图
wc.to_file("biden_wordcloud.png")

在这里插入图片描述

爱睡觉的小秋
关注
专栏目录
天池实验室-Task04-Python数据分析：从0完成一个数据分析实战
weixin_50248555的博客
05-14 320
数据分析入门活动赛事，利用Pandas分析美国选民总统喜好度 数据集介绍 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。 关键字段说明 CAND_ID 候选人ID CAND_NAME 候选人姓名 CAND_PTY_AFFILIATION 候选人党派 候选人委员会链接信息 该文件显示候选人的身份证号码、候选人的选举年份、联邦选举委员会选举年份、委员会识别号、委员会类型、委
天池新手赛-利用Pandas分析美国选民总统喜好度
weixin_41798592的博客
03-07 450
1.1 赛事地址 https://tianchi.aliyun.com/competition/entrance/531837/introduction 1.2 需要提前安装的包 1.3 需要提前现在好数据集 赛事指南 2. 数据处理 内容参考： 天池大赛
利用python计算股票相关指数
qq_64091161的博客
04-27 4034
本次是完成一个股票的计算项目，其主要功能如下： （1）输入股票代码、起止日期后下载股票的日期、股票代码、名称、收盘价、最高价、最低价、开盘价等一系列基本股票数据。 （2）计算异同移动平均线指标（MACD）、布林线（BOLL）的上轨线指标和下轨线指标、平均趋向指标（ADX）、相对强弱指标（RSI）、顺势指标（CCI）、30日和60日的移动平均线指标（MA）等并进行展示。 （3）设计交互界面。 （原项目比这个麻烦一点，但是不符合实用性，并且由于连接了mysql数据库无法普遍使用，我对此做了一点小小更改.
用Pandas分析了75w多条数据，揭秘美国选民的总统喜好
简说Python的博客
10-24 2945
↑↑↑关注后"星标"简说Python人人都可以简单入门Python、爬虫、数据分析简说Python严选来源：天池大数据科研平台原文：https://tianchi.ali...
2020_US_President_political_contributions-数据集
03-22
本数据集包含weball20.txt、ccl.txt、itcont_2020_20200722_20200820.txt三个文件，分别表示候选人数据、候选人和委员会关系数据、选民捐赠委员会数据。 weball20.txt ccl.txt itcont_2020_20200722_20200820.txt
Python数据分析：从0完成一个数据分析实战
小雷和他的朋友们
08-17 361
Python数据分析：从0完成一个数据分析实战 以下内容均来自阿里云天池课程，课程链接地址：Python训练营 文章目录1、赛前准备1.1 前言1.2 数据集来源介绍1.3 需要提前安装的包1.4 需要提前下载好数据集2、数据处理2.1 将委员会和候选人一一对应，通过`CAND_ID`关联两个表2.2 将候选人和捐赠人一一对应，通过`CMTE_ID`关联两个表3、数据探索与清洗4、数据分析4、数据可视化4.1 按州总捐款数和总捐款人数柱状图4.2 各州捐款总人数可视化4.3 热门候选人拜登在各州的获得的捐赠
用Pandas揭秘美国选民的总统喜好
qq_22790151的博客
11-09 897
1、数据集介绍 1.1前言 本次数据分析项目主要分析美国选民和候选总统之间的关系，可预测总统候选人。主要通过ython进行数据分析以及数据可视化，包含数据集的处理、数据探索与清洗、数据分析、数据可视化四部分，利用pandas、matplotlib等第三方库带大家玩转数据分析。 1.2数据源 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。 数据字段描述详细:https://www.
龙珠训练营python-Pandas揭秘美国选民的总统喜好
weixin_40373090的博客
04-10 1039
阿里天池龙珠训练营python数据分析项目 用Pandas揭秘美国选民的总统喜好 链接https://tianchi.aliyun.com/competition/entrance/531837/introduction?spm=5176.19700039.J_9059755190.8.31b83ff4xsaTH1 import pandas as pd #读取并命名 names为每列数据命名 candidates = pd.read_csv("./president_data/weball20.
利用Pandas分析美国选民总统喜好度-数据集
03-19
ccl.txt weball20.txt ccl.txt weball20.txt itcont_2020_20200516_20200603.txt
【Python入门系列】一个简单的数据分析问题——用Pandas揭秘美国选民的总统喜好
onlyme321的博客
01-28 450
作业Task4 在开始呈现作业之前，先给大家展示一下在写作业过程中报的错 1.安装包的过程中报错
【天池龙珠计划寒假训练营】python学习笔记（四）：利用Pandas分析美国选民总统喜好度
weixin_44692396的博客
02-02 420
一、数据准备 1.1 数据集来源介绍 1. 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。 数据字段描述详细:https://www.fec.gov/campaign-finance-data/all-candidates-file-description/ 关键字段说明： CAND_ID 候选人ID CAND_NAME 候选人姓名 CAND_PTY_AFFILIATION 候
数据分析-pands分析美国选民对总统的喜好(python实现）
a284365的博客
06-30 1761
帮你了解数据分析的全过程，快速找到切入点。内容包括：数据源采集，处理，可视化分析三个部分。
python数据分析实战-用Pandas揭秘美国选民的总统喜好-2个可视化图表
qq_43654952的博客
12-30 667
python数据分析实战按州统计捐款总额热力图 按州统计捐款总额热力图 # 按州总捐款热力地图 import seaborn as sns st_amt2 = c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False)[:10] st_amt2 = pd.DataFrame(st_amt, columns=['TRANSACTION_AMT']) sns.heatmap(st_amt2, cmap='Blues
ks8 本地化部署 F5-TTS
陈锐的技术笔记
11-13 623
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
什么是Python模块化编程
大数据实战派
11-13 338
模块化编程是一种编程方法论，它将程序的功能划分为多个独立的模块，每个模块负责程序中的一部分功能。通过这种方式，程序的代码被分割成更小、更易管理的部分，每个模块都可以独立开发、调试和测试，模块之间通过接口进行交互。模块化编程是将一个复杂的程序拆分为多个独立、功能明确的小模块的编程方法。这不仅提高了代码的复用性和可维护性，还促进了团队协作开发，增强了程序的扩展性。在实际开发中，模块化编程让代码结构更加清晰，逻辑更加简洁，为程序的长久维护和扩展打下了坚实的基础。
SpringBoot 实现图片加水印
心猿意码
11-11 394
通过上述步骤，我们可以在SpringBoot项目中实现一个简单的图片加水印功能。当然，实际应用中可能需要更复杂的水印处理，比如水印图片、调整水印位置等，可以根据需求进行相应的扩展和优化。
外星人入侵
weixin_60243362的博客
11-12 1908
外星人入侵项目实践
使用`nohup`后台运行Python服务不输出日志避坑
A15216110998的专栏
11-14 227
这里的应替换为你的Python脚本名称。错误日志未输出这里使用了2>&1来将错误输出重定向到与标准输出相同的文件。代码中的print()语句未输出到日志有时候，由于Python的缓冲输出机制，print()到屏幕的内容可能不会立即显示在日志中。要解决这个问题，可以使用-u现在，print()语句应该会立即出现在日志文件中。其他注意事项如果你的脚本依赖于环境变量，确保在启动脚本之前已经设置了这些变量，或者在脚本中显式导入它们。考虑使用第三方库如logging。
conda创建 、查看、 激活、删除 python 虚拟环境
最新发布
DATABALL 的博客
11-14 168
conda创建 、查看、 激活、删除python虚拟环境
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值