Python：Python数据分析基础教程/王斌会 第四章 数据的探索性分析

最新推荐文章于 2024-01-04 14:59:49 发布
最新推荐文章于 2024-01-04 14:59:49 发布
阅读量1.1k 收藏 7
点赞数 4
分类专栏： python：python数据分析基础教程_王斌会 文章标签： python python数据分析基础教程 王斌会 数据的探索性分析 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47805483/article/details/107143795
版权

Python数据分析基础教程/王斌会

第四章 数据的探索性分析

在这里插入图片描述

- 4.1数据的表述分析

4.1.1基本描述统计量

在这里插入图片描述
在这里插入图片描述

4.1.2计数数据的汇总分析

在这里插入图片描述

4.1.3计量数据的汇总分析

#（1）均数（算术平均数）
BSdata.身高.mean()
#（2）中位数
BSdata.身高.median()
#（3）极差
BSdata.身高.max()-BSdata.身高.min()
#（4）方差
BSdata.身高.var()
#（5）标准差
BSdata.身高.std()
#（6）四分位数间距
BSdata.身高.quantile(0.75)-BSdata.身高.quantile(0.25)
#（7）偏度
BSdata.身高.skew()
#（8）峰度
BSdata.身高.kurt()

#（9）自定义计算基本统计量函数
def stats(x):
    stat=[x.count(),x.min(),x.quantile(.25),x.mean(),x.median(),
         x.quantile(.75),x.max(),x.max()-x.min(),x.var(),x.std(),x.skew(),x.kurt()]
    stat=pd.Series(stat,index=['Count','Min', 'Q1(25%)','Mean','Median',
                   'Q3(75%)','Max','Range','Var','Std','Skew','Kurt'])
    x.plot(kind='kde') #拟合核密度 kde 曲线，见下节
    return(stat)
stats(BSdata.身高)
stats(BSdata.支出)

- 4.2基本绘图命令

import matplotlib.pyplot as plt              #基本绘图包
plt.rcParams['font.sans-serif']=['KaiTi'];   #SimHei黑体
plt.rcParams['axes.unicode_minus']=False;    #正常显示图中负号

4.2.1常用会图工具–基于matplotlib

在这里插入图片描述
在这里插入图片描述


#（1）常用的统计图函数
#（2）图形参数设置
X=['A','B','C','D','E','F','G']
Y=[1,4,7,3,2,5,6]
plt.bar(X,Y); # 条图
plt.pie(Y,labels=X);  # 饼图
#plt.pie(Y,labels=X,autopct='%1.2f%%')

plt.plot(X,Y)  #线图 plot

plt.hist(BSdata.身高)  # 频数直方图
plt.hist(BSdata.身高,density=True) # 频率直方图

plt.scatter(BSdata.身高, BSdata.体重);  # 散点图
plt.xlabel(u'身高');plt.ylabel(u'体重');

#（3）图形参数设置
plt.plot(X,Y,c='red');
plt.ylim(0,8);
plt.xlabel('names');plt.ylabel('values');
plt.xticks(range(len(X)), X);
plt.plot(X,Y,linestyle='--',marker='o');

plt.plot(X,Y,'o--'); plt.axvline(x=1);plt.axhline(y=4);
#plt.vlines(1,0,6,colors='r');plt.hlines(4,0,6);

plt.plot(X,Y);plt.text(2,7,'peakpoint')
plt.plot(X,Y,label=u'折线');
plt.legend();

#误差条图
s=[0.1,0.4,0.7,0.3,0.2,0.5,0.6]
plt.bar(X,Y,yerr=s,error_kw={'capsize':5})

#（4）多图
plt.figure(figsize=(12,6));
plt.subplot(121); plt.bar(X,Y);
plt.subplot(122); plt.plot(Y);

plt.figure(figsize=(7,10));
plt.subplot(211); plt.bar(X,Y);
plt.subplot(212); plt.plot(Y);

fig,ax = plt.subplots(1,2,figsize=(14,6))
ax[0].bar(X,Y)
ax[1].plot(X,Y)

fig,ax=plt.subplots(2,2,figsize=(15,10))
ax[0,0].bar(X,Y); ax[0,1].pie(Y,labels=X)
ax[1,0].plot(Y); ax[1,1].plot(Y,'.-',linewidth=3);

4.2.1常用会图工具–基于pandas

在这里插入图片描述

###4.2.2 基于pandas 的绘图
BSdata['体重'].plot(kind='line');
BSdata['体重'].plot(kind='hist')
BSdata['体重'].plot(kind='box');
BSdata['体重'].plot(kind='density',title='Density');

BSdata[['身高','体重','支出']].plot(subplots=True,layout=(1,3),kind='box')
BSdata[['身高','体重','支出']].plot(subplots=True,layout=(1,3),kind='density')
BSdata[['身高','体重','支出']].plot(subplots=True,layout=(3,1),kind='density')

T1=BSdata['开设'].value_counts();T1
pd.DataFrame({'频数':T1,'频率':T1/T1.sum()*100})
T1.plot(kind='bar'); #T1.sort_values().plot(kind='bar');
T1.plot(kind='pie');

效果图
在这里插入图片描述

- 4.3数据的分类分析

4.3.1一维数据分析

在这里插入图片描述

4.3.2二维数据分析

在这里插入图片描述

4.3.3计量数据分析

在这里插入图片描述

4.3.4多维数据分析

在这里插入图片描述

-附件：第四章代码汇总

#4 数据的探索性分析
##4.1 数据的描述分析
###4.1.1基本描述统计量
BSdata.describe()
BSdata[['性别','开设','课程','软件']].describe()

####4.1.2计数数据汇总分析
#（1）频数：绝对数
T1=BSdata.性别.value_counts();T1
#（2）频率：相对数
T1/sum(T1)*100

###4.1.3 计量数据汇总分析
#（1）均数（算术平均数）（2）中位数（3）极差（4）方差（5）标准差（6）四分位数间距（7）偏度（8）峰度  （同上 略）
####（9）自定义计算基本统计量函数！！
def stats(x):
    stat=[x.count(),x.min(),x.quantile(.25),x.mean(),x.median(),
         x.quantile(.75),x.max(),x.max()-x.min(),x.var(),x.std(),x.skew(),x.kurt()]
    stat=pd.Series(stat,index=['Count','Min', 'Q1(25%)','Mean','Median',
                   'Q3(75%)','Max','Range','Var','Std','Skew','Kurt'])
    x.plot(kind='kde') #拟合核密度 kde 曲线，见下节
    return(stat)
stats(BSdata.身高)
stats(BSdata.支出)

#4.2 基本绘图命令
##4.2.1 常用的绘图函数
import DaPy1func as da
da.stats(BSdata.身高)
da.stats(BSdata.支出)

import matplotlib.pyplot as plt              #基本绘图包
plt.rcParams['font.sans-serif']=['KaiTi'];   #SimHei黑体
plt.rcParams['axes.unicode_minus']=False;    #正常显示图中负号
plt.figure(figsize=(6,5));                   #图形大小
'''本地直接显示图形'''
matplotlib inline
#（1）常用的统计图函数
#（2）图形参数设置

####二、计数数据的基本统计图
#############同上略
###4.2.2 基于pandas 的绘图
#############同上略

##4.3 数据的分类分析
###4.3.1 一维频数分析
####4.3.1.1 计数数据频数分布
#（1）pivot_table
BSdata['开设'].value_counts()
#pd.pivot_table(BSdata,values='学号',index='开设',aggfunc=len)
#BSdata.pivot_table(values='学号',index='开设',aggfunc=len)
# (2) 计数频数表
def tab(x,plot=False): #计数频数表
   f=x.value_counts();f
   s=sum(f);
   p=round(f/s*100,3);p
   T1=pd.concat([f,p],axis=1);
   T1.columns=['例数','构成比'];
   T2=pd.DataFrame({'例数':s,'构成比':100.00},index=['合计'])
   Tab=T1.append(T2)
   if plot:
     fig,ax = plt.subplots(2,1,figsize=(8,15))
     ax[0].bar(f.index,f); # 条图
     ax[1].pie(p,labels=p.index,autopct='%1.2f%%');  # 饼图
   return(round(Tab,3))

tab(BSdata.开设,True)

####4.3.1.2 计量数据频数分布
#（1）身高频数表
pd.cut(BSdata.身高,bins=10).value_counts()
pd.cut(BSdata.身高,bins=10).value_counts().plot(kind='bar');
#（2）支出频数表
pd.cut(BSdata.支出,bins=[0,10,30,100]).value_counts()
pd.cut(BSdata.支出,bins=[0,10,30,100]).value_counts().plot(kind='bar');
# (3) 计量频数表
def freq(X,bins=10): #计量频数表与直方图
    H=plt.hist(X,bins);
    a=H[1][:-1];a
    b=H[1][1:];b
    f=H[0];f
    p=f/sum(f)*100;p
    cp=np.cumsum(p);cp
    Freq=pd.DataFrame([a,b,f,p,cp])
    Freq.index=['[下限','上限)','频数','频率(%)','累计频数(%)']
    return(round(Freq.T,2))

freq(BSdata.体重)

###4.3.2 二维集聚分析
####4.3.2.1 计数数据的列联表
#（1）二维列联表
pd.crosstab(BSdata.开设,BSdata.课程)
pd.crosstab(BSdata.开设,BSdata.课程,margins=True)

pd.crosstab(BSdata.开设,BSdata.课程,margins=True,normalize='index')
pd.crosstab(BSdata.开设,BSdata.课程,margins=True,normalize='columns')
pd.crosstab(BSdata.开设,BSdata.课程,margins=True,normalize='all').round(3)

BSdata.pivot_table('学号','开设','课程',aggfunc=len)
BSdata.pivot_table('学号',index='开设',columns='课程',aggfunc=len)
pd.pivot_table(BSdata,values='学号',index='开设',columns='课程',aggfunc=len)

BSdata
#（2）复式条图
T2=pd.crosstab(BSdata.开设,BSdata.课程);T2
T2.plot(kind='bar');

T2.plot(kind='barh');
T2.plot(kind='bar',stacked=True);

####4.3.2.2 计量数据的集聚表
#（1）groupby函数
BSdata.groupby(['性别'])
type(BSdata.groupby(['性别']))

BSdata.groupby(['性别'])['身高'].mean()
BSdata.groupby(['性别'])['身高'].size()
BSdata.groupby(['性别','开设'])['身高'].mean()

#（2）agg函数
BSdata.groupby(['性别'])['身高'].agg([np.mean, np.std])

#（3）应用apply()
BSdata.groupby(['性别'])['身高','体重'].apply(np.mean)
BSdata.groupby(['性别','开设'])['身高','体重'].apply(np.mean)

###4.3.3 多维透视分析
####4.2.3.1 计数数据的透视分析
#（1）pivot_table
BSdata.pivot_table(index=['性别'],values=['学号'],aggfunc=len)
BSdata.pivot_table(values=['学号'],index=['性别','开设'],aggfunc=len)
BSdata.pivot_table(values=['学号'],index=['开设'],columns=['性别'],aggfunc=len)

####4.2.3.2 计量数据的透视分析
#pd.pivot_table(BSdata,index=["性别"],aggfunc=len)
BSdata.pivot_table(index=['性别'],values=["身高"],aggfunc=np.mean)
BSdata.pivot_table(index=['性别'],values=["身高"],aggfunc=[np.mean,np.std])
BSdata.pivot_table(index=["性别"],values=["身高","体重"])

####4.2.3.3 复合数据的透视分析
pd.pivot_table(BSdata,index=["性别","开设"],aggfunc=len,margins=True)
BSdata.pivot_table('学号', ['性别','开设'], '课程', aggfunc=len, margins=True, margins_name='合计')
pd.pivot_table(BSdata,index=["性别"],aggfunc=np.mean)
BSdata.pivot_table(['身高','体重'],['性别',"开设"],aggfunc=[len,np.mean,np.std] )
HarryStudyPython_ing
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用Python进行数据分析（第四章）
小肥羊快快跑
03-25 254
NumPy基础：数组与向量化计算 NumPy是Python数值计算中最为重要的基础包，提供了非常易用的C语言API 他的设计对于含有大量数组的数据非常有效，数据存储在连续的内存块上，算法是C语言写的，无需任何类型检查和其他管理，使用内存也小 可以对全量数组进行复杂计算而不需要写Python循环 ndarray：多维数组对象 一个快速灵活的大型数据集容器 可使用标量计算语法进行批量计算 shape属性：表征数组每一维度的数量 dtype属性：描述数组的数据类型，即元数据，数据的数据 生成nda
利用Python 进行数据分析 Python_for_data_analysis 笔记
Calvin_li的博客
10-16 800
利用Python 进行数据分析 徐敬一 译 Python for Data Analysis:Data Wrangling with Pandas Numpy and IPython Author Wes McKinney 1.3 重要的Python 库 NumPy pandas matplotlib IPthon Jupyter SciPy scikit-learn
王斌会的《多元统计分析及R语言建模》一书数据
02-24
推荐大家一本R语言入门的非常好的教材——王斌会的《多元统计分析及R语言建模》。这里附上好不容易收集来的随书数据文件—— 王斌会的《多元统计分析及R语言建模》一书数据
pandas数据透视
m0_65560393的博客
04-17 107
【代码】pandas数据透视。
Python：Python数据分析基础教程/王斌会 第三章 Python编程分析基础
qq_47805483的博客
07-04 1429
Python数据分析基础教程/王斌会
bss段和data段的区别
modi000的博客
06-06 1812
转载：https://blog.csdn.net/weixin_41565755/article/details/90481710 一、bss与data 一般情况下，一个程序本质上都是由bss段、data段、text段三个组成的——本概念是当前的计算机程序设计中是很重要的一个基本概念。而且在嵌入式系统的设计中也非常重要，牵涉到嵌入式系统运行时的内存大小分配，存储单元占用空间大小的问题。 在采用段式内存管理的架构中（比如intel的80x86系统），bss段（Block...
bss、data和rodata区别与联系
热门推荐
laiqun_ai的专栏
01-22 3万+
有人可能会说，全局内存就是全局变量嘛，有必要专门一章来介绍吗？这么简单的东西，还能玩出花来？我从来没有深究它，不一样写程序吗？关于全局内存这个主题虽然玩不出花来，但确实有些重要，了解这些知识，对于优化程序的时间和空间很有帮助。因为有好几次这样经历，我才决定花一章篇幅来介绍它。 正如大家所知道的，全局变量是放在全局内存中的，但反过来却未必成立。用static修饰的局部变量就是放在放全局内存的，
Python：Python数据分析基础教程王斌会第三章Python编程分析基础.pdf
06-13
本教程聚焦于Python编程分析基础，特别是使用Python进行数据处理的核心库——NumPy和Pandas。下面将详细阐述这些知识点。 首先，我们来了解一下Python的数据类型。Python内置了多种数据类型，如整型（int）、浮点型...
python数据分析基础教程-可视化（第二版）第四章习题
11-13
在Python数据分析领域，数据可视化是一项至关重要的技能。本篇内容主要围绕着使用Python进行数据可视化，特别是使用matplotlib库创建条形图及其相关参数进行讲解。同时，也涉及到了数据的统计分析，包括均值、中位数...
Python：Python数据分析基础教程王斌会第六章数据的统计分析.pdf
06-13
本教程是王斌会的《Python数据分析基础教程》的第六章，主要介绍了随机变量及其分布以及统计分析的基础知识。以下是本章涉及的一些关键知识点： 1. **随机变量及其分布**： - **均匀分布**：在区间[a, b]上，每个...
Python工具链的数据分析基础教程及实战案例分析
最新发布
05-16
Python工具链的数据分析基础教程及实战案例分析Python工具链的数据分析基础教程及实战案例分析Python工具链的数据分析基础教程及实战案例分析Python工具链的数据分析基础教程及实战案例分析Python工具链的数据分析...
Python：Python数据分析基础教程/王斌会 第六章 数据的统计分析
qq_47805483的博客
07-19 995
图书学习打卡：Python数据分析基础教程/王斌会 第六章 数据的统计分析 6.1 随机变量及其分布 6.1.1 均匀分布 6.1.2 正态分布 ##6.1 随机变量及其分布 ####6.1.1 均匀分布 a=0;b=1;y=1/(b-a) plt.plot(a,y); plt.hlines(y,a,b); plt.show() #plt.vlines(0,0,1);plt.vlines(1,0,1); #####（1）整数随机数 import random random.randint(10,20
R语言，多元统计分析第四版，第五版，王斌会教授的自编函数及资源。
kang_yqdhhd的博客
06-07 3192
最近在学习，王斌会教授的多元统计分析这本书，但是遗憾的是，王斌会教授自编的一些函数和一些资源没有，自己也是费尽力气找到了这些，这也多亏了这位博主给的网站，才能让我有机会告诉你们，直接引用这位博主的地址吧，正好也可以关注一下她，看得出来是一个很优秀的人呢，地址是：https://blog.csdn.net/lucky_shi/article/details/105191404 为了大家方便查找，我也将简化的网址找到 第四版：https://gitee.com/Py-R/mvstats4 第五版：https:/
多元统计分析及R语言建模（王斌会）第八、九、十章答案
hanmengyuan2001的博客
01-06 3万+
1）试述主成分分析的基本思想 主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。 其基本思想是：设法将原来具有一定相关性的众多指标，重新组合成一组新的相互无关的综合指标代替原来指标。 3）假定2002年我国35个核心城市综合竞争力评价指标为： ——国内生产总值（亿元）； ——一般预算收入（亿元）； ——固定资产投资（亿元）； ——外贸进出口（亿美
多元统计分析及R语言建模（王斌会）第十、十一、十二章答案
hanmengyuan2001的博客
01-06 9995
3)我国工农业产业系统的典型相关分析:首先将工业内部五个结构比重变量作为第一组分析变量:以农业产品为原料的生产部门的产值占总工业部门产值的比重；以非农业产品为原料的生产部门的产值占总工业部门产值的比重；采掘工业部门的产值占总工业部门产值的比重;原料工业部门的产值占总工业部门产值的比重;加工工业部门的产值占总工业部门立值的比重。然后把农业内部四个部门产值的比重变量作为第二组分析变量:农业部门的产值占总行业产值的比重;林业部门的产值占总行业产值的比重;牧业部门的产值占总行业产值的比重;渔业部门的产值占总行业产值
多元统计分析及R语言建模（王斌会）第五、六、七章答案
hanmengyuan2001的博客
01-06 1万+
3）某银行从历史贷款客户中随机抽取16个样本，根据设计的指标体系分别计算他们的“商业信用支持度”()和“市场竞争地位等级”（),类别变量G中，1代表贷款成功，2代表贷款失败。 表1.银行客户样本数据 客户 x1 x2 G 客户 x1 x2 G 1 2 3 4 5 6 7 ..
零基础：数据分析的完整Python教程
m0_59162248的博客
01-31 1511
Series 可以理解为一维标记/索引数组。您可以通过这些标签访问该系列的各个元素。DataFrames框类似于Excel工作簿–您具有引用列的列名和行，可以使用行号进行访问。本质上的区别是，在数据帧的情况下，列名和行号称为列和行索引。系列和数据框构成Python中Pandas的核心数据模型。首先将数据集读取到这些数据帧中，然后可以非常轻松地将各种操作（例如，分组，聚合等）应用于其列。在学习python中有任何困难不懂的可以微信扫描下方CSDN官方认证二维码加入python交流学习。
Python数据处理入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
wly55690的博客
07-27 2729
本教程内容旨在帮助没有基础的同学。可作为机器学习或深度学习的先修课程，也可作为快速备查手册。值得一提的是，，可以说 numpy 玩儿熟了，几个深度学习框架的不少 API 也同时学会了。本文是教程的「第一部分」，从实际的代码应用出发，讲解了Numpy创建到统计的操作。开源项目地址：https://github.com/datawhalechina/powerful-numpy则如下：· 偏实用高频 API· 展示实际用法· 简单直接使用说明：内容中⭐（1-5个）表示重要程度，越多越重要；
Python新手入门教程 | 如何用Python进行数据分析(超详细）
python03012的博客
01-04 1846
有小伙伴在学Python新手教程的时候说学Python比较复杂的地方就是资料太多了，比较复杂。很多网上的资料都是从语法教起的，花了很多时间还是云里雾里，摸不清方向。今天就给大家来捋一捋思路！帮助大家提高学习效率！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值