数据分析(以美国选民的总统喜好为例)

已于 2023-03-25 22:44:17 修改
阅读量1.7k 收藏 19
点赞数 16
文章标签： 数据分析 python 数据挖掘
于 2023-03-25 21:54:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62317367/article/details/129769666
版权
文章详细介绍了使用Python的Pandas库进行数据分析的一般步骤，包括读取数据、检查和处理缺失值、数据转换、分组分析以及数据可视化，如柱状图、饼图和词云图的绘制。此外，还提及了香农公式和基尼系数在信息理论和分类过程中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

pandas

 数据分析一般步骤

pd.read读取数据

分析各数据中是否存在相同字段，是否需要整合

可用merge，concat等​编辑

转为dataframe格式设置列，用head（）查看前几行数据

用info（）查看数据描述，观察有无缺失值，格式问题等

用describe（）观察数据描述

数据处理 

缺失值处理，fillna函数。        

类型转换

groupby分组运用

数据可视化

柱状图

饼图

词云图

数据分析方法

香农公式

基尼系数

美国选总统为例

pandas

 数据分析一般步骤

  1. pd.read读取数据

  2. 分析各数据中是否存在相同字段，是否需要整合

    1. 可用merge，concat等

  3. 转为dataframe格式设置列，用head（）查看前几行数据

    ccl=pd.DataFrame(ccl,columns=['CMTE_ID','CAND_ID','CAND_NAME','CAND_PTY_AFFILIATION'])
ccl.head(10)

  4. 用info（）查看数据描述，观察有无缺失值，格式问题等

     例子

    可以看到state、employer、occupation有缺失值（数据量与其他数据的数据量不同），且索引为6的日期格式为int64

  5. 用describe（）观察数据描述

数据处理 

缺失值处理，fillna函数。        

 函数形式：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

参数：

value：用于填充的空值的值。

method： {'backfill', 'bfill', 'pad', 'ffill', None}, default None。定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值。

axis：轴。0或'index'，表示按行删除；1或'columns'，表示按列删除。

inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。

limit：int， default None。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果method未被指定， 在该axis下，最多填充前 limit 个空值（不论空值连续区间是否间断）

downcast：dict, default is None，字典中的项为，为类型向下转换规则。或者为字符串“infer”，此时会在合适的等价类型之间进行向下转换，比如float64 to int64 if possible。

c_itcont['STATE'].fillna('NOT PROVIDED', inplace=True)
c_itcont['EMPLOYER'].fillna('NOT PROVIDED', inplace=True)
c_itcont['OCCUPATION'].fillna('NOT PROVIDED', inplace=True)

类型转换

astype（）转换类型

c_itcont['TRANSACTION_DT']=c_itcont['TRANSACTION_DT'].astype(str)
c_itcont['TRANSACTION_DT']=[i[3:7]+i[0]+i[1:3] for i in c_itcont['TRANSACTION_DT']]#将日期转换为年月日格式

groupby分组运用

函数详解： Pandas中groupby的这些用法_pandas groupby_Ch3n的博客-CSDN博客

以本项目为例子

c_itcont.groupby('CAND_PTY_AFFILIATION')['TRANSACTION_AMT'].sum().sort_values(ascending=False).plot(kind='bar',figsize=(10,5),title='各党派总收入')
c_itcont.groupby('CAND_PTY_AFFILIATION')['TRANSACTION_AMT'].sum().sort_values(ascending=False).head(10)

按照affiliation分组，按照amt进行倒序排序，使用head查看前几行，plot直接画出图形

或者这样写：

c_itcont.groupby("CAND_PTY_AFFILIATION").sum().sort_values("TRANSACTION_AMT",ascending=False).head(10)

数据可视化

DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False, 
                sharex=None, sharey=False, layout=None, figsize=None, 
                use_index=True, title=None, grid=None, legend=True, 
                style=None, logx=False, logy=False, loglog=False, 
                xticks=None, yticks=None, xlim=None, ylim=None, rot=None, 
                fontsize=None, colormap=None, position=0.5, table=False, yerr=None, 
                xerr=None, stacked=True/False, sort_columns=False, 
                secondary_y=False, mark_right=True, **kwds)
x和y：表示标签或者位置，用来指定显示的索引，默认为None
kind：表示绘图的类型，默认为line，折线图
line：折线图        bar/barh：柱状图（条形图），纵向/横向 pie：饼状图 hist：直方图（数值频率分布）
box：箱型图
kde：密度图，主要对柱状图添加Kernel 概率密度线
area：区域图（面积图）
scatter：散点图
hexbin：蜂巢图
ax：子图，可以理解成第二坐标轴，默认None
subplots：是否对列分别作子图，默认False
sharex：共享x轴刻度、标签。如果ax为None，则默认为True，如果传入ax，则默认为False
sharey：共享y轴刻度、标签
layout：子图的行列布局，(rows, columns)
figsize：图形尺寸大小，(width, height)
use_index：用索引做x轴，默认True
title：图形的标题
grid：图形是否有网格，默认None
legend：子图的图例
style：对每列折线图设置线的类型，list or dict
logx：设置x轴刻度是否取对数，默认False
logy
loglog：同时设置x，y轴刻度是否取对数，默认False
xticks：设置x轴刻度值，序列形式（比如列表）
yticks
xlim：设置坐标轴的范围。数值，列表或元组（区间范围）
ylim
rot：轴标签（轴刻度）的显示旋转度数，默认None
fontsize : int, default None#设置轴刻度的字体大小
colormap：设置图的区域颜色
colorbar：柱子颜色
position：柱形图的对齐方式，取值范围[0,1]，默认0.5（中间对齐）
table：图下添加表，默认False。若为True，则使用DataFrame中的数据绘制表格
yerr：误差线
xerr
stacked：是否堆积，在折线图和柱状图中默认为False，在区域图中默认为True
sort_columns：对列名称进行排序，默认为False
secondary_y：设置第二个y轴（右辅助y轴），默认为False
mark_right : 当使用secondary_y轴时，在图例中自动用“(right)”标记列标签 ，默认True
x_compat：适配x轴刻度显示，默认为False。设置True可优化时间刻度的显示
1.2 其他常用说明
color：颜色
s：散点图大小，int类型
设置x,y轴名称
ax.set_ylabel(‘yyy’)
ax.set_xlabel(‘xxx’)

柱状图

# 各州总捐款数可视化
st_amt = c_itcont.groupby('STATE').sum().sort_values("TRANSACTION_AMT",ascending=False)[:10]
st_amt=pd.DataFrame(st_amt, columns=['TRANSACTION_AMT'])
st_amt.plot(kind='bar')

饼图

c_itcont[c_itcont['CAND_NAME']=='BIDEN, JOSEPH R JR']
.groupby('STATE').sum().sort_values('TRANSACTION_AMT',ascending=False)
.head(10).plot(kind='pie',figsize=(10,5),title='拜登在各州获得的捐赠占比',subplots=True,autopct='%.2f%%')

 subplots是否对各列分别作子图,autopct 显示所占总数的百分比

词云图

♦ 参数
♑ font path:字体路径,默认不支持中文,可通过该参数指定字体,支持OTF和TF格式;
♑ width、 height:画布的宽度和高度,单位为像素;
♑ margin:文字之间的边距;
♑ mask:指定图片的形状,忽略白色部分,通常为 ndarray
♑ max words:最多显示的词的数量,默认为200;
♑ min font size、 max font size:最小字体大小、最大字体大小;
♑ font_step:字体大小增加步长,默认为1
♑ background_ color:词云图的背景颜色,默认为黑色

♦ 方法
♑ generate(text):根据文本生成词云图,返回当前对象本身;
♑ to image0:将词云对象转化为图片;
♑ to_file(文件名):将词云对象转化为文件;
♑ to array():将词云对象转化为数组。

♦ 基本步骤
♑ 创建wordcloud对象，设定基本信息
♑ 调用generate()方法生成词云
♑ 保存或显示词云
 

# 在4.2 热门候选人拜登在各州的获得的捐赠占比 中我们已经取出了所有支持拜登的人的数据，存在变量：biden中
# 将所有捐赠者姓名连接成一个字符串
data = ' '.join(biden["NAME"].tolist())
# 读取图片文件
bg = plt.imread("biden.jpg")
# 生成
wc = WordCloud(# FFFAE3
    background_color="white",  # 设置背景为白色，默认为黑色
    width=890,  # 设置图片的宽度
    height=600,  # 设置图片的高度
    mask=bg,    # 画布
    margin=10,  # 设置图片的边缘
    max_font_size=100,  # 显示的最大的字体大小
    random_state=20,  # 为每个单词返回一个PIL颜色
).generate_from_text(data)
# 图片背景
bg_color = ImageColorGenerator(bg)
# 开始画图
plt.imshow(wc.recolor(color_func=bg_color))
# 为云图去掉坐标轴
plt.axis("off")
# 画云图，显示
# 保存云图
wc.to_file("biden_wordcloud.png")

数据分析方法

香农公式

在信息论中，随机离散事件出现的概率存在着不确定性。为了衡量这种信息的不确定性，信息学之父香农引入了信息熵的概念，并给出了计算信息熵的数学公式：

p(i|t) 代表了节点 t 为分类 i 的概率，其中 log2 为取以 2 为底的对数。这里我不是来介绍公式的，而是说存在一种度量，它能帮我们反映出来这个信息的不确定度。当不确定性越大时，它所包含的信息量也就越大，信息熵也就越高,当确定性越大时，则相反。

我举个简单的例子，假设有 2 个集合
1.集合 1：5 次参加天池比赛，1 次不参加天池比赛；
2.集合 2：3 次参加天池比赛，3 次不参加天池比赛;

在集合 1 中，有 6 次决策，其中参加天池比赛是 5 次，不参加天池比赛是 1 次。那么假设：类别 1 为“参加天池比赛”，即次数为 5；类别 2 为“不参加天池比赛”，即次数为 1。那么节点划分为类别 1 的概率是 5/6，为类别 2 的概率是 1/6，带入上述信息熵公式可以计算得出：

Entropy(t)=-(5/6)log2(5/6)-(1/6)log2(1/6)=0.65

同样，集合 2 中，也是一共 6 次决策，其中类别 1 中“参加天池比赛”的次数是 3，类别 2“不参加天池比赛”的次数也是 3，我们可以计算得出：

Enterop(t)=-(3/6)log2(3/6)-(3/6)log2(3/6)=1

从上面的计算结果中可以看出，信息熵越大，纯度越低。当集合中的所有样本均匀混合时，信息熵最大，纯度最低。

你可能在经济学中听过说基尼系数，它是用来衡量一个国家收入差距的常用指标。当基尼系数大于 0.4 的时候，说明财富差异悬殊。基尼系数在 0.2-0.4 之间说明分配合理，财富差距不大。基尼系数本身反应了样本的不确定度。当基尼系数越小的时候，说明样本之间的差异性小，不确定程度低。分类的过程本身是一个不确定度降低的过程，即纯度的提升过程。

基尼系数

假设 t 为节点，那么该节点的 GINI 系数的计算公式为：

我举个简单的例子，假设有 2 个集合
1.集合 1：6次都参加天池比赛；
2.集合 2：3 次参加天池比赛，3 次不参加天池比赛;

集合 1，6次都参加天池比赛，所以 p(Ck|t)=1，因此 GINI(t)=1-1=0。
集合 2，3 次参加天池比赛，3 次不参加天池比赛，所以，p(C1|t)=0.5，p(C2|t)=0.5，GINI(t)=1-（0.5x0.5+0.5x0.5）=0.5。

通过两个基尼系数你可以看出，集合 1 的基尼系数最小，也证明样本最稳定，而集合 2 的样本不稳定性更大。
在 CART 算法中，基于基尼系数对特征属性进行二元分裂，假设节点 D 的基尼系数等于子节点 D1 和 D2 的归一化基尼系数之和，用公式表示为：

 

美国选总统为例

# 从所有数据中取出支持拜的数据
biden = c_itcont[c_itcont['CAND_NAME'] == 'BIDEN, JOSEPH R JR']
# 统计各州对拜的捐款总数
biden_state = biden.groupby('STATE').sum().sort_values("TRANSACTION_AMT", ascending=False)
q = np.array(biden_state)  # 创建ndarray 对象
number_b = len(q)  # 支持拜州的数量
# 从所有数据中取出支持特朗的数据
trump = c_itcont[c_itcont['CAND_NAME'] == 'TRUMP, DONALD J.']
# 统计各州对特朗的捐款总数
trump_state = trump.groupby('STATE').sum().sort_values("TRANSACTION_AMT", ascending=False)
w = np.array(trump_state)  # 创建ndarray 对象
number_t = len(w)  # 支持特朗州的数量

上方为支持的州的数量 

下方为支持人数

# 从所有数据中取出支持拜的数据
biden = c_itcont[c_itcont['CAND_NAME'] == 'BIDEN, JOSEPH R JR']
# 统计各职业对拜的捐款总数
biden_state = biden.groupby('OCCUPATION').sum().sort_values("TRANSACTION_AMT", ascending=False)
e = np.array(biden_state)  # 创建ndarray 对象
# 从所有数据中取出支持特朗的数据
biden = c_itcont[c_itcont['CAND_NAME'] == 'TRUMP, DONALD J.']
# 统计各职业对特朗的捐款总数
biden_state = biden.groupby('OCCUPATION').sum().sort_values("TRANSACTION_AMT", ascending=False)
r = np.array(biden_state)  # 创建ndarray 对象

州的总数和职业的总数：

# pivot_table作用是按职业和捐赠数额聚合数据,index=['STATE']取出捐赠人所在的职业，values=['TRANSACTION_AMT']取出捐赠人捐赠的数额，aggfunc='sum'计算相同州的总额
by_occupation = pd.pivot_table(c_itcont, index=['STATE'], values=['TRANSACTION_AMT'], aggfunc='sum')
number = len(by_occupation)  # 州的数量
# pivot_table作用是按职业和捐赠数额聚合数据,index=['OCCUPATION']取出捐赠人所在的职业，values=['TRANSACTION_AMT']取出捐赠人捐赠的数额，aggfunc='sum'计算相同职业的总额
by_occupation = pd.pivot_table(c_itcont, index=['OCCUPATION'], values=['TRANSACTION_AMT'], aggfunc='sum')
number_j = len(by_occupation)  # 职业的总数量

 

Kj。
关注
天池新手赛-利用Pandas分析美国选民总统喜好度
weixin_41798592的博客
03-07 468
1.1 赛事地址 https://tianchi.aliyun.com/competition/entrance/531837/introduction 1.2 需要提前安装的包 1.3 需要提前现在好数据集 赛事指南 2. 数据处理 内容参考： 天池大赛
pandas数据分析案例--2012美国总统竞选赞助数据分析
qq_47496372的博客
05-11 781
美国总统竞选赞助数据分析 本文内容参考阿里云天池实验室，在原有基础上添加了重要知识点解析，并结合时政分析各结果产生的原因。 原案例地址 数据来源 1、首先导入相关的python数据分析的库 import pandas as pd import numpy as py import matplotlib.pyplot as plt 2、数据的载入和预览 2.1 数据载入 由于文件较大，数据被分为三...
利用Pandas分析美国选民总统喜好度-数据集
03-19
ccl.txt weball20.txt ccl.txt weball20.txt itcont_2020_20200516_20200603.txt
2012美国大选献金项目数据分析（有史以来最全面）
AI World
11-12 8273
目录数据载入与总览新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 数据载入与总览 你好！ 这是你第一次使用 M...
3 Python数据分析 美国各州人口分析案例 Pandas高级操作 美国大选献金案例 matplotlib
健浩的博客
07-15 5530
Python数据分析 1 案例 人口分析 1.1 数据介绍 数据来源：https://github.com/jakevdp/data-USstates/ 1.1.1 州人口数量表 state-population.csv 字段 字段名 备注 state/region 州/区域 州简称，与state-abbrevs.csv文件中的abbreviation字段对应 ages 人口年龄 选项包括18岁以下under18和全部年龄段total year 年份 population 人口
【Python入门系列】一个简单的数据分析问题——用Pandas揭秘美国选民的总统喜好
onlyme321的博客
01-28 478
作业Task4 在开始呈现作业之前，先给大家展示一下在写作业过程中报的错 1.安装包的过程中报错
阿里天池赛之用Pandas揭秘美国选民的总统喜好
qq_48637067的博客
12-06 705
今天，参加了阿里云的一项天池赛–“用Pandas揭秘美国选民的总统喜好”。在这里，复盘一下整个的代码。 先给出赛事地址趴^_~ 点我哦 接着，我们一起来瞅瞅代码。 # 安装词云处理包wordcloud !pip install wordcloud --user # 导入相关处理包 import pandas as pd # 读取候选人信息，由于原始数据没有表头，需要添加表头，names后面跟的就是自己加的表头 candidates = pd.read_csv("weball20.txt", sep =
＜利用Pandas进行数据分析＞项目练习（二） ——用Pandas揭秘美国选民的总统喜好
Jintao_233的博客
12-16 900
1.1 前言 本次项目来源于阿里云天池，赛事由开源学习组织Datawhale主办。 主要带领学习者利用Python进行数据分析以及数据可视化。 包含数据集的处理、数据探索与清晰、数据分析、数据可视化四部分，利用pandas、matplotlib、wordcloud等第三方库。 学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/introduction 1.2 数据集来源介绍 所有候选人信息 该文件为每个候选人提供一份记录，并显示候选人
数据分析实例——美国加州人口分析[isnull().any()/.unique()/merge/set_index/df.query/sort_values]
Dorisi_H_n_q的博客
09-01 3772
一、准备好数据集 二、需求分析 案例分析：美国各州人口数据分析 作业知识补充 首先导入文件，并查看数据样本 合并pop与abbrevs两个DataFrame，分别依据state/region列和abbreviation列来合并。 为了保留所有信息，使用外合并。 查看存在缺失数据的列。 使用.isnull().any()，只有某一列存在一个缺失数据，就会显示True。 查看缺失...
[学习笔记]Python for Data Analysis, 3E-13.数据分析实例
zhangyifeng_1995的博客
11-29 631
[学习笔记]Python for Data Analysis, 3E-13.数据分析实例
Admission_Predict.csv-数据集
03-29
学生成绩直播课作业
python数据分析实例2012美国总统竞选赞助分析
weixin_46762578的博客
12-19 520
1.数据加载 import pandas as pd import numpy as np import matplotlib.pyplot as plt data1=pd.read_csv('data_01.csv') data2=pd.read_csv('data_02.csv') data3=pd.read_csv('data_03.csv') #数据合并 data=pd.concat([data1,data2,data3]) #数据预览和基本统计分析 #查看数据的信息，包括每个字段的名称、非空
5.2 缺失值处理
kiritobryant的博客
10-21 1095
通过Kettle工具，去除原始数据集revenue.txt中的缺失值。现在有一份就业人员的收入数据文件revenue.txt，由于某种原因，在数据采集的过程中产生了大量的缺失值数据，内容如图所示。通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。单击【浏览】按钮，选择要去除缺失值的文件revenue.txt；
数据可视化（pyecharts 1.7.1）学习笔记——系列笔记（4）
masonsxu的博客
04-12 1630
四、Python数据分析库 - Pandas 1、Pandas数据结构Series对象 1）创建Series对象 Series保存的是一维带索引的数组 数组中的元素可以是任何数据类型，整数，字符串，浮点数，Python对象等 data，一维数组 Numpy的ndarray对象 字典、列表等 一个数值，比如数字5 Index，每个元素的索引 Series一维数组的每个元素都带有索引 如...
比例数据可视化
qq_56437391的博客
04-14 6233
目录 一、比例数据可视化 1.比例数据的分组依据 2.比例数据的应用 二、饼图 1.定义 2.饼图的基本构架 3.关于饼图的使用建议如下： 三、环形图 四、百分比堆叠柱形图 2.百分比堆叠柱形图对于要展示数值累积的总数进行弱化，重点突出类别分布在整体中的作用，应用场景如下： 3.关于百分比堆叠柱形图的使用建议有以下几条： 五、百分比堆叠面积图 1.概念 2.百分比堆叠面积图的使用建议如下： 六、矩形树图 1.概念： 七、 雷达图 1.概念 ...
Django+echarts【堆叠柱状图】【百分比显示】（附代码）
weixin_44727274的博客
05-21 1275
关于使用echarts堆叠柱状图百分比显示的问题 阿斯顿发个
关于 使用pyecharts进行数据可视化分析 的学习报告I
Wchale的博客
06-05 2596
pyecharts在数据可视化中的应用 pyecharts 是一款非常好用的，基于 python 的，数据可视化工具包，那么如何来使用 pyecharts ，下面就来简单介绍一下 pyecharts 的使用方法，具体安装过程可以参考 pyecharts官方手册 注意事项 pyecharts 分为 v0.5.X 和 v1 两个大版本，v0.5.X 和 v1 间不兼容 v0.5.X版本 v1 版本 支持Python2.7，3.4+，且已不再维护 支持Python3.6 + 是目前的首选
pycharm中使用pyecharts生成【时间比例数据】（类似echarts图）
weixin_44727274的博客
04-27 1786
本次仅实验总结，具体涉及图表： 饼图、环形图、堆叠柱形图（2个）、树图、矩形树图、面积折线图 一、饼图 from pyecharts import Pie import pandas as pd vote_result = pd.read_csv('G:\\DataPrepro\\Visualize\\test6\\file6\\vote_result.csv') pie = Pie("数据可视化-用户感兴趣领域", "以下是读者的投票结果，读者对金融、医疗保健、市场业令的最感兴趣", title_po
Python机器学习 集成算法实例
weixin_44056948的博客
08-18 2519
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline SEED = 222 np.random.seed(SEED) df = pd.read_csv('input.csv') #切分训练集和测试集 from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值