【天池龙珠计划】Python训练营 Task04 Python数据分析：从0完成一个数据分析实战

最新推荐文章于 2021-11-13 15:34:30 发布
最新推荐文章于 2021-11-13 15:34:30 发布
阅读量276 收藏
点赞数
分类专栏： 天池龙珠计划 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChenShu19991109/article/details/113665065
版权

【天池龙珠计划】Python训练营 Task04 Python数据分析：从0完成一个数据分析实战（利用Pandas分析美国选民总统喜好度）

文章目录

有幸参加阿里云天池寒假训练营活动，目前活动已经圆满结束，收获颇丰，仅在此做一些学习笔进记行巩固和继续学习

天池龙珠计划：https://tianchi.aliyun.com/specials/promotion/aicamps?spm=5176.20977230.J_6770933040.1.256d301eHKJSd5https://hao.360.com/?a1004

1、赛前准备

1.1 前言

学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/introduction

1.2 数据集来源介绍

所有候选人信息
该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。
数据字段描述详细:https://www.fec.gov/campaign-finance-data/all-candidates-file-description/
关键字段说明

  • CAND_ID 候选人ID
  • CAND_NAME 候选人姓名
  • CAND_PTY_AFFILIATION 候选人党派

数据来源:https://www.fec.gov/files/bulk-downloads/2020/weball20.zip

候选人委员会链接信息
该文件显示候选人的身份证号码、候选人的选举年份、联邦选举委员会选举年份、委员会识别号、委员会类型、委员会名称和链接标识号。
信息描述详细:https://www.fec.gov/campaign-finance-data/candidate-committee-linkage-file-description/
关键字段说明

  • CAND_ID 候选人ID
  • CAND_ELECTION_YR 候选人选举年份
  • CMTE_ID 委员会ID

数据来源:https://www.fec.gov/files/bulk-downloads/2020/ccl20.zip

个人捐款档案信息
【注意】由于文件较大，本数据集只包含2020.7.22-2020.8.20的相关数据，如果需要更全数据可以通过数据来源中的地址下载。
该文件包含有关收到捐款的委员会、披露捐款的报告、提供捐款的个人、捐款日期、金额和有关捐款的其他信息。
信息描述详细:https://www.fec.gov/campaign-finance-data/contributions-individuals-file-description/
关键字段说明

  • CMTE_ID 委员会ID
  • NAME 捐款人姓名
  • CITY 捐款人所在市
  • State 捐款人所在州
  • EMPLOYER 捐款人雇主/公司
  • OCCUPATION 捐款人职业

数据来源:https://www.fec.gov/files/bulk-downloads/2020/indiv20.zip

1.3 需要提前安装的包
# 安装词云处理包wordcloud
!pip install wordcloud --user

Looking in indexes: https://mirrors.aliyun.com/pypi/simple
Requirement already satisfied: wordcloud in /data/nas/workspace/envs/python3.6/site-packages (1.8.1)
Requirement already satisfied: numpy>=1.6.1 in /opt/conda/lib/python3.6/site-packages (from wordcloud) (1.19.4)
Requirement already satisfied: pillow in /opt/conda/lib/python3.6/site-packages (from wordcloud) (8.0.1)
Requirement already satisfied: matplotlib in /opt/conda/lib/python3.6/site-packages (from wordcloud) (3.3.3)
Requirement already satisfied: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=2.0.3 in /opt/conda/lib/python3.6/site-packages (from matplotlib->wordcloud) (2.4.7)
Requirement already satisfied: python-dateutil>=2.1 in /opt/conda/lib/python3.6/site-packages (from matplotlib->wordcloud) (2.8.1)
Requirement already satisfied: kiwisolver>=1.0.1 in /opt/conda/lib/python3.6/site-packages (from matplotlib->wordcloud) (1.2.0)
Requirement already satisfied: cycler>=0.10 in /opt/conda/lib/python3.6/site-packages (from matplotlib->wordcloud) (0.10.0)
Requirement already satisfied: six in /opt/conda/lib/python3.6/site-packages (from cycler>=0.10->matplotlib->wordcloud) (1.15.0)
[33mWARNING: You are using pip version 20.3.3; however, version 21.0 is available.
You should consider upgrading via the '/opt/conda/bin/python -m pip install --upgrade pip' command.[0m

'''
WARNING: You are using pip version 20.3.3; however, version 21.0 is available.
You should consider upgrading via the '/opt/conda/bin/python -m pip install --upgrade pip' command.
'''
#/opt/conda/bin/python -m pip install--upgrade pip

"\nWARNING: You are using pip version 20.3.3; however, version 21.0 is available.\nYou should consider upgrading via the '/opt/conda/bin/python -m pip install --upgrade pip' command.\n"
1.4 需要提前下载好数据集

下载本案例数据集2020_US_President_political_contributions，

2、数据处理

进行数据处理前，我们需要知道我们最终想要的数据是什么样的，因为我们是想分析候选人与捐赠人之间的关系，所以我们想要一张数据表中有捐赠人与候选人一一对应的关系，所以需要将目前的三张数据表进行一一关联，汇总到需要的数据。

2.1 将委员会和候选人一一对应，通过CAND_ID关联两个表

由于候选人和委员会的联系表中无候选人姓名，只有候选人ID（CAND_ID），所以需要通过CAND_ID从候选人表中获取到候选人姓名，最终得到候选人与委员会联系表ccl。

#导入相关的处理包
import pandas as pd

#读取候选人信息，由于原始数据没有表头，需要添加表头
candidates=pd.read_csv("weball20.txt",sep='|',names=['CAND_ID','CAND_NAME','CAND_ICI','PTY_CD','CAND_PTY_AFFILIATION','TTL_RECEIPTS',
                                                     'TRANS_FROM_AUTH','TTL_DISB','TRANS_TO_AUTH','COH_BOP','COH_COP','CAND_CONTRIB',
                                                     'CAND_LOANS','OTHER_LOANS','CAND_LOAN_REPAY','OTHER_LOAN_REPAY','DEBTS_OWED_BY',
                                                     'TTL_INDIV_CONTRIB','CAND_OFFICE_ST','CAND_OFFICE_DISTRICT','SPEC_ELECTION','PRIM_ELECTION','RUN_ELECTION'
                                                      ,'GEN_ELECTION','GEN_ELECTION_PRECENT','OTHER_POL_CMTE_CONTRIB','POL_PTY_CONTRIB',
                                                      'CVG_END_DT','INDIV_REFUNDS','CMTE_REFUNDS'])
#读取候选人和委员会的联系信息
ccl=pd.read_csv("ccl.txt",sep='|',names=['CAND_ID','CAND_ELECTION_YR','FEC_ELECTION_YR','CMTE_ID','CMTE_TP','CMTE_DSGN','LINKAGE_ID'])

# 关联两个表数据
ccl = pd.merge(ccl,candidates)
# 提取出所需要的列
ccl = pd.DataFrame(ccl, columns=[ 'CMTE_ID','CAND_ID', 'CAND_NAME','CAND_PTY_AFFILIATION'])

数据字段说明：

  • CMTE_ID：委员会ID
  • CAND_ID：候选人ID
  • CAND_NAME：候选人姓名
  • CAND_PTY_AFFILIATION：候选人党派
# 查看目前ccl数据前10行
ccl.head(10)
CMTE_IDCAND_IDCAND_NAMECAND_PTY_AFFILIATION
0C00697789H0AL01055CARL, JERRY LEE, JRREP
1C00701557H0AL01063LAMBERT, DOUGLAS WESTLEY IIIREP
2C00701409H0AL01071PRINGLE, CHRISTOPHER PAULREP
3C00703066H0AL01089HIGHTOWER, BILLREP
4C00708867H0AL01097AVERHART, JAMESDEM
5C00710947H0AL01105GARDNER, KIANI ADEM
6C00722512H0AL01121CASTORANI, JOHNREP
7C00725069H0AL01139COLLINS, FREDERICK G. RICK'DEM
8C00462143H0AL02087ROBY, MARTHAREP
9C00493783H0AL02087ROBY, MARTHAREP
2.2 将候选人和捐赠人一一对应，通过CMTE_ID关联两个表

通过CMTE_ID将目前处理好的候选人和委员会关系表与人捐款档案表进行关联，得到候选人与捐赠人一一对应联系表cil。

# 读取个人捐赠数据，由于原始数据没有表头，需要添加表头
# 提示：读取本文件大概需要5-10s
itcont = pd.read_csv('itcont_2020_20200722_20200820.txt', sep='|',names=['CMTE_ID','AMNDT_IND','RPT_TP','TRANSACTION_PGI',
                                                                                  'IMAGE_NUM','TRANSACTION_TP','ENTITY_TP','NAME','CITY',
                                                                                  'STATE','ZIP_CODE','EMPLOYER','OCCUPATION','TRANSACTION_DT',
                                                                                  'TRANSACTION_AMT','OTHER_ID','TRAN_ID','FILE_NUM','MEMO_CD',
                                                                                  'MEMO_TEXT','SUB_ID'])

/opt/conda/lib/python3.6/site-packages/IPython/core/interactiveshell.py:3058: DtypeWarning: Columns (10,15,16,18) have mixed types.Specify dtype option on import or set low_memory=False.
  interactivity=interactivity, compiler=compiler, result=result)

# 将候选人与委员会关系表ccl和个人捐赠数据表itcont合并，通过 CMTE_ID
c_itcont =  pd.merge(ccl,itcont)
# 提取需要的数据列
c_itcont = pd.DataFrame(c_itcont, columns=[ 'CAND_NAME','NAME', 'STATE','EMPLOYER','OCCUPATION',
                                           'TRANSACTION_AMT', 'TRANSACTION_DT','CAND_PTY_AFFILIATION'])

数据说明

  • CAND_NAME – 接受捐赠的候选人姓名
  • NAME – 捐赠人姓名
  • STATE – 捐赠人所在州
  • EMPLOYER – 捐赠人所在公司
  • OCCUPATION – 捐赠人职业
  • TRANSACTION_AMT – 捐赠数额（美元）
  • TRANSACTION_DT – 收到捐款的日期
  • CAND_PTY_AFFILIATION – 候选人党派
# 查看目前数据前10行
c_itcont.head(10)
CAND_NAMENAMESTATEEMPLOYEROCCUPATIONTRANSACTION_AMTTRANSACTION_DTCAND_PTY_AFFILIATION
0MORGAN, JOSEPH DAVIDMARTIN, WILLIAM IIAZRETIREDRETIRED1007242020REP
1MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH407242020REP
2MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH407312020REP
3WOOD, DANIELHOPKINS, RICHARDAZPOWERS-LEAVITTINSURANCE AGENT3008102020REP
4WOOD, DANIELPENDLETON, DIANEAZUNEMPLOYEDNaN5008072020REP
5WOOD, DANIELPREVATT, WILLIAMAZSELF-EMPLOYEDDVM5007312020REP
6WOOD, DANIELHARDING, DOUGAZMICROSUREOPERATIONS MANAGER28008102020REP
7WOOD, DANIELHARDING, MARIAZNaNNaN14008152020REP
8WOOD, DANIELHEDGER, CYNTHIATXNaNNaN2007312020REP
9HUANG, PEGGYHUANG - PERSONAL FUNDS, PEGGYCAOFFICE OF THE ATTORNEY GENERALDEPUTY ATTORNEY GENERAL26007252020REP

3、数据探索与清洗

进过数据处理部分，我们获得了可用的数据集，现在我们可以利用调用shape属性查看数据的规模，调用info函数查看数据信息，调用describe函数查看数据分布。

# 查看数据规模 多少行 多少列
c_itcont.shape

(756205, 8)

# 查看整体数据信息，包括每个字段的名称、非空数量、字段的数据类型
c_itcont.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 756205 entries, 0 to 756204
Data columns (total 8 columns):
 #   Column                Non-Null Count   Dtype 
---  ------                --------------   ----- 
 0   CAND_NAME             756205 non-null  object
 1   NAME                  756205 non-null  object
 2   STATE                 756160 non-null  object
 3   EMPLOYER              737413 non-null  object
 4   OCCUPATION            741294 non-null  object
 5   TRANSACTION_AMT       756205 non-null  int64 
 6   TRANSACTION_DT        756205 non-null  int64 
 7   CAND_PTY_AFFILIATION  756205 non-null  object
dtypes: int64(2), object(6)
memory usage: 51.9+ MB

通过上面的探索我们知道目前数据集的一些基本情况，目前数据总共有756205行，8列，总占用内存51.9+MB，STATE、EMPLOYER、OCCUPATION有缺失值，另外日期列目前为int64类型，需要进行转换为str类型。

#空值处理，统一填充 NOT PROVIDED
c_itcont['STATE'].fillna('NOT PROVIDED',inplace=True)
c_itcont['EMPLOYER'].fillna('NOT PROVIDED',inplace=True)
c_itcont['OCCUPATION'].fillna('NOT PROVIDED',inplace=True)

# 对日期TRANSACTION_DT列进行处理
c_itcont['TRANSACTION_DT'] = c_itcont['TRANSACTION_DT'] .astype(str)
# 将日期格式改为年月日  7242020	
c_itcont['TRANSACTION_DT'] = [i[3:7]+i[0]+i[1:3] for i in c_itcont['TRANSACTION_DT'] ]

# 再次查看数据信息
c_itcont.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 756205 entries, 0 to 756204
Data columns (total 8 columns):
 #   Column                Non-Null Count   Dtype 
---  ------                --------------   ----- 
 0   CAND_NAME             756205 non-null  object
 1   NAME                  756205 non-null  object
 2   STATE                 756205 non-null  object
 3   EMPLOYER              756205 non-null  object
 4   OCCUPATION            756205 non-null  object
 5   TRANSACTION_AMT       756205 non-null  int64 
 6   TRANSACTION_DT        756205 non-null  object
 7   CAND_PTY_AFFILIATION  756205 non-null  object
dtypes: int64(1), object(7)
memory usage: 51.9+ MB

# 查看数据前3行
c_itcont.head(3)
CAND_NAMENAMESTATEEMPLOYEROCCUPATIONTRANSACTION_AMTTRANSACTION_DTCAND_PTY_AFFILIATION
0MORGAN, JOSEPH DAVIDMARTIN, WILLIAM IIAZRETIREDRETIRED1002020724REP
1MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH402020724REP
2MORGAN, JOSEPH DAVIDRODRIGUEZ, GERARDOAZVA HOSPITALLAB TECH402020731REP
# 查看数据表中数据类型的列的数据分布情况
c_itcont.describe()
TRANSACTION_AMT
count7.562050e+05
mean1.504307e+02
std2.320452e+03
min-5.600000e+03
25%2.000000e+01
50%3.500000e+01
75%1.000000e+02
max1.500000e+06
# 查看单列的数据发布情况
c_itcont['CAND_NAME'].describe()

count                 756205
unique                   312
top       BIDEN, JOSEPH R JR
freq                  507816
Name: CAND_NAME, dtype: object

4、数据分析

# 计算每个党派的所获得的捐款总额，然后排序，取前十位
c_itcont.groupby("CAND_PTY_AFFILIATION").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_PTY_AFFILIATION
DEM75961730
REP37170653
IND328802
LIB169202
DFL76825
GRE18607
NON11256
UNK10195
CON4117
BDY3250
# 计算每个总统候选人所获得的捐款总额，然后排序，取前十位
c_itcont.groupby("CAND_NAME").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
CAND_NAME
BIDEN, JOSEPH R JR68111142
TRUMP, DONALD J.16594982
SULLIVAN, DAN9912465
JACOBS, CHRISTOPHER L.6939209
BLOOMBERG, MICHAEL R.3451916
MARKEY, EDWARD J. SEN.606832
SHAHEEN, JEANNE505446
KENNEDY, JOSEPH P III467738
CORNYN, JOHN SEN345959
FIGLESTHALER, WILLIAM MATTHEW MD258221

获得捐赠最多的党派有DEM(民主党)、REP(共和党)，分别对应BIDEN, JOSEPH R JR(拜登)和TRUMP, DONALD J.(特朗普)，从我们目前分析的2020.7.22-2020.8.20这一个月的数据来看，在选民的捐赠数据中拜登代表的民主党完胜特朗普代表的共和党，由于完整数据量过大，所以没有对所有数据进行汇总分析，因此也不能确定11月大选公布结果就一定是拜登当选

# 查看不同职业的人捐款的总额，然后排序，取前十位
c_itcont.groupby('OCCUPATION').sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)
TRANSACTION_AMT
OCCUPATION
NOT EMPLOYED24436214
RETIRED18669950
NOT PROVIDED5089355
ATTORNEY4443569
FOUNDER3519109
PHYSICIAN3295595
CONSULTANT1647033
LAWYER1565976
PROFESSOR1481260
EXECUTIVE1467865
# 查看每个职业捐款人的数量
c_itcont['OCCUPATION'].value_counts().head(10)

NOT EMPLOYED    224109
RETIRED         151834
ATTORNEY         19666
NOT PROVIDED     14912
PHYSICIAN        14033
CONSULTANT        8333
PROFESSOR         8022
TEACHER           8013
ENGINEER          7922
SALES             6435
Name: OCCUPATION, dtype: int64

从捐款人的职业这个角度分析，我们会发现NOT EMPLOYED(自由职业)的总捐赠额是最多，通过查看每个职业捐赠的人数来看，我们就会发现是因为NOT EMPLOYED(自由职业)人数多的原因，另外退休人员捐款人数也特别多，所以捐款总数对应的也多，其他比如像：律师、创始人、医生、顾问、教授、主管这些高薪人才虽然捐款总人数少，但是捐款总金额也占据了很大比例。

# 每个州获捐款的总额，然后排序，取前五位
c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False).head(5)
TRANSACTION_AMT
STATE
CA19999115
NY11468537
FL8128789
TX8101871
MA5187957
# 查看每个州捐款人的数量
c_itcont['STATE'].value_counts().head(5)

CA    127895
TX     54457
FL     54343
NY     49453
MA     29314
Name: STATE, dtype: int64

最后查看每个州的捐款总金额，我们会发现CA(加利福利亚)、NY(纽约)、FL(弗罗里达)这几个州的捐款是最多的，在捐款人数上也是在Top端，另一方面也凸显出这些州的经济水平发达。
大家也可以通过数据查看下上面列举的高端职业在各州的分布情况，进行进一步的分析探索。

4、数据可视化

首先导入相关Python库

# 导入matplotlib中的pyplot
import matplotlib.pyplot as plt
# 为了使matplotlib图形能够内联显示
%matplotlib inline
# 导入词云库
from wordcloud import WordCloud,ImageColorGenerator
4.1 按州总捐款数和总捐款人数柱状图
# 各州总捐款数可视化
st_amt = c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False)[:10]
st_amt=pd.DataFrame(st_amt, columns=['TRANSACTION_AMT'])
st_amt.plot(kind='bar')

<AxesSubplot:xlabel='STATE'>

在这里插入图片描述

4.2 各州捐款总人数可视化
# 各州捐款总人数可视化，取前10个州的数据
st_amt = c_itcont.groupby('STATE').size().sort_values(ascending=False).head(10)
st_amt.plot(kind='bar')

<AxesSubplot:xlabel='STATE'>

在这里插入图片描述

4.3 热门候选人拜登在各州的获得的捐赠占比
# 从所有数据中取出支持拜登的数据
biden = c_itcont[c_itcont['CAND_NAME']=='BIDEN, JOSEPH R JR']
# 统计各州对拜登的捐款总数
biden_state = biden.groupby('STATE').sum().sort_values("TRANSACTION_AMT", ascending=False).head(10)
# 饼图可视化各州捐款数据占比
biden_state.plot.pie(figsize=(10, 10),autopct='%0.2f%%',subplots=True)

array([<AxesSubplot:ylabel='TRANSACTION_AMT'>], dtype=object)

在这里插入图片描述

4.4 总捐最多的候选人捐赠者词云图

通过数据分析中获得捐赠总额前三的候选人统计中可以看出拜登在2020.7.22-2020.8.20这期间获得捐赠的总额是最多的，所以我们以拜登为原模型，制作词云图。

# 首先下载图片模型,这里提供的是已经处理好的图片，有兴趣的选手可以自己写代码进行图片处理
# 处理结果：需要将人图像和背景颜色分离，并纯色填充，词云才会只显示在人图像区域
# 拜登原图：https://img.alicdn.com/tfs/TB1pUcwmZVl614jSZKPXXaGjpXa-689-390.jpg
# 拜登处理后图片：https://img.alicdn.com/tfs/TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg
# 特朗普原图：https://img.alicdn.com/tfs/TB1D0l4pBBh1e4jSZFhXXcC9VXa-298-169.jpg
# 特朗普处理后图片：https://img.alicdn.com/tfs/TB1BoowmZVl614jSZKPXXaGjpXa-298-169.jpg
# 这里我们先下载处理后的图片
!wget https://img.alicdn.com/tfs/TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg

--2021-01-31 11:39:47--  https://img.alicdn.com/tfs/TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg
Resolving img.alicdn.com (img.alicdn.com)... 180.97.251.252, 180.97.251.251
Connecting to img.alicdn.com (img.alicdn.com)|180.97.251.252|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4236 (4.1K) [image/jpeg]
Saving to: ‘TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg’

100%[======================================>] 4,236       --.-K/s   in 0s      

2021-01-31 11:39:47 (56.4 MB/s) - ‘TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg’ saved [4236/4236]

# 由于下载图片文件名过长，我们对文件名进行重命名
import os
os.rename('TB10Jx4pBBh1e4jSZFhXXcC9VXa-689-390.jpg', 'biden.jpg')

# 在4.2 热门候选人拜登在各州的获得的捐赠占比 中我们已经取出了所有支持拜登的人的数据，存在变量：biden中
# 将所有捐赠者姓名连接成一个字符串
data = ' '.join(biden["NAME"].tolist())
# 读取图片文件
bg = plt.imread("biden.jpg")
# 生成
wc = WordCloud(# FFFAE3
    background_color="white",  # 设置背景为白色，默认为黑色
    width=890,  # 设置图片的宽度
    height=600,  # 设置图片的高度
    mask=bg,    # 画布
    margin=10,  # 设置图片的边缘
    max_font_size=100,  # 显示的最大的字体大小
    random_state=20,  # 为每个单词返回一个PIL颜色
).generate_from_text(data)
# 图片背景
bg_color = ImageColorGenerator(bg)
# 开始画图
plt.imshow(wc.recolor(color_func=bg_color))
# 为云图去掉坐标轴
plt.axis("off")
# 画云图，显示
# 保存云图
wc.to_file("biden_wordcloud.png")

<wordcloud.wordcloud.WordCloud at 0x7f0d3da009b0>

在这里插入图片描述

4.5 按州总捐款热力地图
# 按州总捐款热力地图
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

# 各州总捐款数可视化
st_amt = c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False)[:10]
st_amt=pd.DataFrame(st_amt, columns=['TRANSACTION_AMT'])
st_amt.head(10)
TRANSACTION_AMT
STATE
CA19999115
NY11468537
FL8128789
TX8101871
MA5187957
WA4455361
IL3788997
VA3659134
PA3501967
MD2923730
sns.heatmap(st_amt,cmap='Reds')
#cmap颜色

<AxesSubplot:ylabel='STATE'>

在这里插入图片描述

4.6 收到捐赠额最多的两位候选人的总捐赠额变化趋势
# 收到捐赠额最多的两位候选人的总捐赠额变化趋势
# 将候选人与委员会关系表ccl和个人捐赠数据表itcont合并，通过 CMTE_ID
c_itcont2 =  pd.merge(ccl,itcont)
# 提取需要的数据列
c_itcont2 = pd.DataFrame(c_itcont2, columns=[ 'CAND_NAME','TRANSACTION_AMT', 'TRANSACTION_DT'])
#c_itcont2.head(10)
#c_itcont2.shape
#c_itcont2.info()
# 对日期TRANSACTION_DT列进行处理
c_itcont2['TRANSACTION_DT'] = c_itcont2['TRANSACTION_DT'] .astype(str)
# 将日期格式改为年月日  7242020	 
c_itcont2['TRANSACTION_DT'] = [i[3:7]+i[0]+i[1:3] for i in c_itcont2['TRANSACTION_DT'] ]
#c_itcont2.info()
c_itcont2.head(5)
CAND_NAMETRANSACTION_AMTTRANSACTION_DT
0MORGAN, JOSEPH DAVID1002020724
1MORGAN, JOSEPH DAVID402020724
2MORGAN, JOSEPH DAVID402020731
3WOOD, DANIEL3002020810
4WOOD, DANIEL5002020807
#获取拜登每天获得的捐款数
biden=c_itcont2[c_itcont2['CAND_NAME']=='BIDEN, JOSEPH R JR']
#biden.head(10)
biden=biden.groupby('TRANSACTION_DT').sum().sort_values("TRANSACTION_AMT", ascending=False)
biden=biden.sort_values('TRANSACTION_DT', ascending=True)
biden=biden.rename(columns={'TRANSACTION_AMT':'BIDEN_TRANSACTION_AMT'})
biden.head(10)
BIDEN_TRANSACTION_AMT
TRANSACTION_DT
2020722888622
2020723963605
20207241172065
2020725919555
20207261108782
20207271097421
20207281475198
20207291275603
20207301063531
20207312341590
#获取特朗普每天获得的捐款数
trump=c_itcont2[c_itcont2['CAND_NAME']=='TRUMP, DONALD J.']
#trump.head(10)
trump=trump.groupby('TRANSACTION_DT').sum().sort_values('TRANSACTION_AMT', ascending=False)
trump=trump.sort_values('TRANSACTION_DT', ascending=True)
trump=trump.rename(columns={'TRANSACTION_AMT':'TRUMP_TRANSACTION_AMT'})
#trump.columns
trump.head(10)
#TRUMP, DONALD J.
TRUMP_TRANSACTION_AMT
TRANSACTION_DT
2020722330603
2020723224317
2020724273289
2020725207652
2020726493181
2020727515034
2020728455095
2020729716851
20207301130337
20207311992496
#将得到的拜登和特朗普的每天获得的捐款数进行整合
c_itcont4 =  pd.concat([biden,trump],axis=1)
c_itcont4.head(10)
BIDEN_TRANSACTION_AMTTRUMP_TRANSACTION_AMT
TRANSACTION_DT
2020722888622330603
2020723963605224317
20207241172065273289
2020725919555207652
20207261108782493181
20207271097421515034
20207281475198455095
20207291275603716851
202073010635311130337
202073123415901992496
c_itcont4.plot(y={'TRUMP_TRANSACTION_AMT','BIDEN_TRANSACTION_AMT'},grid=True, rot=45)

<AxesSubplot:xlabel='TRANSACTION_DT'>

在这里插入图片描述

5、大致流程

1.赛前准备：

  • 数据字段描述、关键字段说明
  • 需要提前安装的包
  • 需要提前下载好数据集

2.数据处理：

  • 将相关的表进行关联
  • 数据探索与清洗：

3.数据分析：

  • 对可用的数据集进行操作，现在我们可以利用调用shape属性查看数据的规模，调用info函数查看数据信息，调用describe函数查看数据分布等等。

4.数据可视化：

  • 首先导入相关Python库
  • 提取相关数据，并进行绘图
少熬夜多睡觉少喝奶茶多学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Pandas揭秘美国选民的总统喜好
TA_cheng的博客
05-01 242
本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/promotion/aicamppython?spm=5176.22758685.J_6770933040.1.6f103da1SLrbkx 1、赛前准备 2、数据处理 3.数据探索与清洗 以上是赛前要准备的比较重要的代码。 总捐最多的候选人捐赠者词云图 4.学习思考和总结 1.当要使用词云时，需要安装词云处理包 2.数据分.
Pandas 分析美国选名的喜好
qq_32767039的博客
05-01 151
1.赛前准备 1.1 前言 本次赛事由开源学习组织Datawhale主办，主要带领学习者利用Python进行数据分析以及数据可视化，包含数据集的处理、数据探索与清晰、数据分析、数据可视化四部分，利用pandas、matplotlib、wordcloud等第三方库带大家玩转数据分析～还有丰富礼品等你来领取哦～ 学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/introduction 1.2 数据集来源介绍 所有候选人信息 该文
利用Python中的pandas库对cdn日志进行分析详解
12-24
前言 最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有些力不从心，处理时间过长。于是研究了下Python pandas这个数据处理库的使用。一千万行日志，处理完成在40s左右。 代码 #!/usr/bin/python # -*- coding: utf-8 -*- # sudo pip install pandas __author__ = 'Loya Chen' import sys impo
用Pandas分析了75w多条数据，揭秘美国选民的总统喜好
简说Python的博客
10-24 2717
↑↑↑关注后"星标"简说Python人人都可以简单入门Python、爬虫、数据分析简说Python严选来源：天池大数据科研平台原文：https://tianchi.ali...
阿里云天池 Python训练营Task4: Python数据分析：从0完成一个数据分析实战 学习笔记
LuKenkazia的博客
04-30 427
本学习笔记为阿里云天池龙珠计划Python训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/promotion/aicamppython?spm=5176.22758685.J_6770933040.1.6f103da1tESyzu 一、学习知识点概要 本次主要通过阿里云天池的赛题【Python入门系列】用Pandas揭秘美国选民的总统喜好 进行学习，主要学习内容有： 数据集获取 数据处理 数据探索和清洗 数据分析 数据可视化 二、学习内容
阿里巴巴天池龙珠计划Python学习资料
01-23
《阿里巴巴天池龙珠计划Python学习资料》是针对Python编程语言的一份综合学习资源，旨在帮助开发者提升Python技能，特别是对于后端开发的深入理解和实践。这份资料来源于阿里巴巴的天池龙珠计划，该计划致力于培养高...
基于python实现的对历年世界杯信息进行数据分析可视化+源代码+说明
最新发布
04-20
数据来源于阿里云天池实验室，对历年世界杯信息进行数据分析可视化 此数据分析的数据集包括世界杯成绩信息表：worldcupssummary；世界杯比赛比分汇总表：worldCupMatches；世界杯球员信息表：WorldcupsPlayers - 不...
基于天池淘宝母婴用品数据的可视化分析
06-12
基于天池淘宝母婴用品数据的可视化分析
阿里云-天池数据分析竞赛：汽车产品聚类分析
06-23
基于项目提供的汽车相关数据，通过聚类分析的方法实现汽车产品聚类，以构建汽车产品画像、分析产品定位、完成汽车竞品分析等要求。 2. 项目数据 项目提供的汽车数据包括26个字段共205条数据，数据文件为“car_price...
阿里云天池龙珠计划 Python 项目.zip
01-11
网络与通信：数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络与通信是一个非常广泛的领域，它涉及到计算机科学、电子工程、数学等多个学科的知识。 云计算与大数据：包括云计算平台、大数据分析、人工...
用Pandas揭秘美国选民的总统喜好【天池比赛】
eerywh的博客
01-12 924
此项目为参加阿里云Python比赛记录，供个人学习！！！！ 1、赛前准备 1.1 前言 本次赛事由开源学习组织Datawhale主办，主要带领学习者利用Python进行数据分析以及数据可视化，包含数据集的处理、数据探索与清晰、数据分析、数据可视化四部分，利用pandas、matplotlib、wordcloud等第三方库带大家玩转数据分析～还有丰富礼品等你来领取哦～ 学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/introduct
Python Opencv cv2提取图像中某种特定颜色区域（例如黑字白纸背景下的红色公章提取），并将纯色背景透明化
qq_43670549的博客
08-26 1万+
拜拜PHOTOSHOP- 领导突然让我帮他把公章从图片中抠出来，在确保了不是要做坏事的情况下，我打开了PHOTOSHOP，用魔棒工具一点一点抠，但由于魔棒工具的原理是对比临近区域像素差值，导致封闭字体中的区域无法剔除，而且一点一点抠非常麻烦，愤而PYTHON，使用CV2完美解决。 效果如下（马赛克是我添加的）： 任务就是把蓝色的公章抠出来。 效果如上。 代码如下： import cv2 import numpy as np src = cv2.imread(r"imagepath")#这里填你的原图像路
【天池龙珠计划寒假训练营】python学习笔记（四）：利用Pandas分析美国选民总统喜好度
weixin_44692396的博客
02-02 356
一、数据准备 1.1 数据集来源介绍 1. 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。 数据字段描述详细:https://www.fec.gov/campaign-finance-data/all-candidates-file-description/ 关键字段说明： CAND_ID 候选人ID CAND_NAME 候选人姓名 CAND_PTY_AFFILIATION 候
【Python】参加淘宝天猫天池大数据比赛的代码解析（一）
大白菜学习数据挖掘
10-06 1466
最近报名参加了天池大数据比赛，题目是搭建一个推荐系统，我使用的是Python语言，挖掘的第一步是输入原始数据，折腾了很久才把数据按照期望的格式进行输入存储，在这里介绍一下 天池大数据比赛链接： http://tianchi.aliyun.com/competition/information.htm?spm=5176.100067.5678.2.X8Bm6J&amp;raceId=231506 ...
Python数据分析-淘宝用户行为分析
Xun_X2的博客
12-12 2133
淘宝用户行为分析 1.1背景信息 因双12活动结束，分析双12活动用户购买行为，后续可以结合更多节假日时机复制双12活动制造流量热点 1.2数据信息 说明：数据为淘宝APP2014年11月18日至2014年12月18日的用户行为数据，共计6列字段 来源：阿里天池项目数据集 字段： user_id：用户身份，脱敏 item_id：商品ID，脱敏 behavior_type：用户行为类型（包含点击、收藏、加购物车、支付四种行为，分别用数字1、2、3、4表示） user_geohash：地理位置 item_cat
python训练营TASK04学习笔记
wozhinengpa的博客
05-01 122
本笔记为阿里云天池龙珠计划python训练营的学习内容，学习链接为：AI训练营Python-阿里云天池 (aliyun.com) 学习知识点概要 一、赛题数据 赛题以数据处理、数据分析、数据可视化为任务，数据集可以报名参与比赛后，查看操作指南进行下载使用，该数据来自FEC平台的公开数据集，源数据包含3张数据表，经过baseline数据处理步骤后合并为一张表，总数据量75w+条，包含8列变量信息，当然，大家可以根据自己想法取出更多列进行数据分析。 数据说明 1.所有候选人信息 该文件为每个候选人提供
python实现opencv学习九：图片切割、合并、填充
热门推荐
七刀的专栏
03-15 2万+
一：图片切割与合并  原理通过操作图像矩阵来获取或合并指定位置的图像代码如下：# -*- coding=GBK -*- import cv2 as cv import numpy as np #截取图片中的指定区域或在指定区域添加某一图片 def jie_image(src1): src2 = src1[5:89, 500:630]#截取第5行到89行的第500列到630列的区域 ...
数据分析-examination-1
weixin_43204668的博客
11-13 296
数据集的处理、数据探索与清晰、数据分析、数据可视化四部分 1.数据处理 进行数据处理前，我们需要知道我们最终想要的数据是什么样的，因为我们是想分析候选人与捐赠人之间的关系，所以我们想要一张数据表中有捐赠人与候选人一一对应的关系，所以需要将目前的三张数据表进行一一关联，汇总到需要的数据 import pandas as pd import numpy as np import matplotlib.pyplot as plt 1.1 将委员会和候选人一一对应，通过CAND_ID关联两个表 由于候选人和委
python怎么填充背景颜色,python通过pil为png图片填充上背景颜色的方法
weixin_31002029的博客
03-26 3217
python通过pil为png图片填充上背景颜色的方法本文实例讲述了python通过pil为png图片填充上背景颜色的方法。分享给大家供大家参考。具体分析如下：png图片有些是没有背景颜色，如果希望以单色(比如白色)填充背景，可以使用下面的代码，这段代码将当前目录下的 jb51.net.png图片填充了白色背景。使用指定的颜色的背景色即可，然后把该图片用alpha通道填充到该单色背景上。比如下面使...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值