Dataframe基础操作巩固——美国大选献金项目

不会统计的大河马

已于 2022-08-08 21:37:50 修改

阅读量213

点赞数

分类专栏： pandas numpy 文章标签： python servlet 开发语言

于 2022-08-07 16:59:50 首次发布

本文链接：https://blog.csdn.net/qq_47250064/article/details/126208774

版权

pandas 同时被 2 个专栏收录

10 篇文章 1 订阅

订阅专栏

numpy

9 篇文章 0 订阅

订阅专栏

需求：

1.读取数据
2.查看是否有缺失数据
3.用统计学指标快速描述数值型属性的概要
4.空值处理。可能因为忘记填写保密等原因，相关字段出现了空值，将其填充为NOT PROVIDE
df.fillna(value = 'NOT PROVIDE',inplace=True)
5.异常值的处理。将捐赠金额<=0的数据删除
df.drop(labels=drop_indexs,axis=0,inplace=True)
axis=0是行，唯一一个特殊的
6.新建一列为各个候选人所在党派的party
7.查看party这一列中有哪些不同的元素
8.统计party列中各个元素出现的次数
9.查看各个党派收到的政治献金总数
10.查看具体每天各个党派收到的政治献金总数
11.将表中的时期格式转变为"yyyy-mm-dd"
12.查看老兵(捐赠者职业)主要支持谁

1、2、读取数据、查看是否有缺失数据

import pandas as pd
from pandas import DataFrame
import numpy as np
df=pd.read_csv("C:\\Users\\zoutong\\Desktop\\programming\\case\\usa_election .txt")
df.head()
parties = {'Bachmann, Michelle':'Republican',
           'Romney, Mitt':'Republican',
           'Obama, Barack':'Democrat',
           "Roemer, Charles E. 'Buddy' III":'Reform',
           'Pawlenty, Timothy':'Republican',
          'Johnson, Gary Earl':'Libertarian',
          'Paul, Ron':'Republican',
         'Santorum, Rick':'Republican',
         'Cain, Herman':'Republican',
          'Gingrich, Newt':'Republican',
          'McCotter, Thaddeus G':'Republican',
          'Huntsman, Jon':'Republican',
          'Perry, Rick':'Republican'}
months = {'JAN':1,'FEB':2,'MAR':3,'APR':4,'MAY':5,'JUN':6,
         'JUL':7,'AUG':8,'SEP':9,'OCT':10,'NOV':11,'DEC':12}

##对新数据进行总览，查看是否缺失存在数据
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
 #   Column             Non-Null Count   Dtype  
---  ------             --------------   -----  
 0   cmte_id            536041 non-null  object 
 1   cand_id            536041 non-null  object 
 2   cand_nm            536041 non-null  object 
 3   contbr_nm          536041 non-null  object 
 4   contbr_city        536026 non-null  object 
 5   contbr_st          536040 non-null  object 
 6   contbr_zip         535973 non-null  object 
 7   contbr_employer    525088 non-null  object 
 8   contbr_occupation  530520 non-null  object 
 9   contb_receipt_amt  536041 non-null  float64
 10  contb_receipt_dt   536041 non-null  object 
 11  receipt_desc       8479 non-null    object 
 12  memo_cd            49718 non-null   object 
 13  memo_text          52740 non-null   object 
 14  form_tp            536041 non-null  object 
 15  file_num           536041 non-null  int64  
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

3、用统计学指标快速描述数值型属性的概要

describe()函数

include：包含哪类数据。默认只包含连续值，不包含离散值；include = ‘all’ 设置全部类型
percentiles：设置输出的百分位数，默认为[.25,.50,.75]，返回第25，50，75百分位数

df.describe()##对数值行数据进行分析

4、空值处理。可能因为忘记填写保密等原因，相关字段出现了空值，将其填充为NOT PROVIDE。

df.fillna()

1.df.fillna()函数的功能:该函数的功能是用指定的值去填充dataframe中的缺失值。
2.df.fillna()函数的基本语法:df.fillna(a,[inplace=False]),其中参数a表示的是常数或字典，若a为常数，则用常数a填充缺失值，若a为字典，则表示第key列的缺失值用key对应的value值填充，如：df.fillna({0:10,1:20}),表示用10去填充第0列的缺失值，用20去填充第1列的缺失值；inplace为可选参数，默认为False，表示不修改原对象，若指定inplace=True,则直接修改原对象。
3.df.fillna()函数的返回值：若指定inplace=True，则函数返回值为None，若未指定，则函数返回填充缺失值后的数据。

df.fillna(value="NOT PROVISED",inplace=True)
df.info()
###用value=NOT PROVISED 来填充空值

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 536041 entries, 0 to 536040
Data columns (total 16 columns):
#   Column             Non-Null Count   Dtype
--- ------             --------------   -----
0   cmte_id            536041 non-null object
1   cand_id            536041 non-null object
2   cand_nm            536041 non-null object
3   contbr_nm          536041 non-null object
4   contbr_city        536041 non-null object
5   contbr_st          536041 non-null object
6   contbr_zip         536041 non-null object
7   contbr_employer    536041 non-null object
8   contbr_occupation 536041 non-null object
9   contb_receipt_amt 536041 non-null float64
10 contb_receipt_dt   536041 non-null object
11 receipt_desc       536041 non-null object
12 memo_cd            536041 non-null object
13 memo_text          536041 non-null object
14 form_tp            536041 non-null object
15 file_num           536041 non-null int64
dtypes: float64(1), int64(1), object(14)
memory usage: 65.4+ MB

5、异常值的处理。将捐赠金额<=0的数据删除

df.drop(labels=drop_indexs,axis=0,inplace=True)

只有在df.drop()里面的axis=0表示行，labels=drop_indexes表示删除这一列

#异常值的处理。将捐赠金额<=0的数据删除
df["contb_receipt_amt"]<=0
df.loc[df["contb_receipt_amt"]<=0]
drop_indexs=df.loc[df["contb_receipt_amt"]<=0].index
df.drop(labels=drop_indexs,axis=0,inplace=True)

6、新建一列为各个候选人所在党派的party

map函数作用： 根据提供的函数对指定的序列做映射。通俗地讲就是以参数序列中的每个元素分别调用参数中的函数（func（）），把每次调用后返回的结果保存到返回值中

#新建一列为各个候选人所在党派的party
#新建一列为各个候选人所在党派的party
#根据名字去百度查询，各个候选人所在的党派，写成一个字典
"""字典形式为：
partise={
"人名，人名":"所在的党派",
"人名，人名":"所在的党派",
"人名，人名":"所在的党派",
}"""

df['party'] = df['cand_nm'].map(parties)

7、查看party这一列中有哪些不同的元素

df["party"].unique()

array(['Republican', 'Democrat', 'Reform', 'Libertarian'], dtype=object)

8、统计party列中各个元素出现的次数

value_counts()函数

value_counts() 方法返回一个序列 Series，该序列包含每个值的数量。也就是说，对于数据框中的任何列，value-counts () 方法会返回该列每个项的计数。

#统计party列中各个元素出现的次数
df["party"].value_counts()

9、查看各个党派收到的政治献金总数

#查看各个党派收到的政治献金总数contb_receipt_amt
df.groupby(by='party')["contb_receipt_amt"].sum()

10、查看具体每天各个党派收到的政治献金总数

df.group()函数

df.groupby() 函数返回的对象是一系列键值对，其中键是分组的字段值，值是该字段值下的数据表。分组的结果是无法直接输出的，print()只能看到该结果的数据类型。可以用循环对分组后的结果进行遍历。

#查看具体每天各个党派收到的政治献金总数
df.groupby(by=["contb_receipt_dt","party"])["contb_receipt_amt"].sum()

11、将表中的时期格式转变为"yyyy-mm-dd"

##将表中日期格式转换为："yyyy_mm_dd"
def trandformData(d):
    day,month,year = d.split('-')
    month = months[month]#将英文月份转换为中文月份
    return '20'+year+'-'+str(month)+'-'+day
df['contb_receipt_dt'] = df['contb_receipt_dt'].map(trandformData)

12、查看老兵(捐赠者职业)主要支持谁

#查看老兵(捐赠者职业)DISABLED VETERAN主要支持谁,给谁捐赠的钱越多表示越支持谁
#可以先将源数据中的老兵这个职业对应的行数据取出
df["contbr_occupation"]=="DISABLED VETERAN"
df_old=df.loc[df["contbr_occupation"]=="DISABLED VETERAN"]
#分组：以候选人分组，对捐赠金额求和
df_old.groupby(by='cand_nm')['contb_receipt_amt'].sum()

cand_nm
Cain, Herman       300.00
Obama, Barack     4205.00
Paul, Ron         2425.49
Santorum, Rick     250.00
Name: contb_receipt_amt, dtype: float64

复习

df.describe()	对数据进行统计描述形分析
df.fillna(value=“”，inplace=True)	对缺失值进行填充，填充值是value的值
df[].map()	提供的函数对指定的序列做映射
df.groupby(by="")[]	通过by里面的关键字进行分组
df.value_counts()	统计各个元素出现的次数
df[].unique()	看某一列有几个元素