python数据科学-单变量数据分析

最新推荐文章于 2023-12-17 09:54:47 发布

俊红的数据分析之路

最新推荐文章于 2023-12-17 09:54:47 发布

阅读量1.6k

点赞数

文章标签：数据可视化 weex csv

本文链接：https://blog.csdn.net/junhongzhang/article/details/103686848

版权

本文介绍了在机器学习前的数据探索性分析，特别是针对单变量数据的分析。通过分析美国总统历年国情咨询的诉求数量，展示了如何查看数据的整体分布，使用分位数评估数据集中异常值，并进行了进一步的具体分析，如绝对量级和年份对比。涉及的Python库包括numpy和collections。

摘要由CSDN通过智能技术生成

总第85篇

01|背景：

我们在做机器学习之前，需要自己先对数据进行深入的了解（这些数据是什么类型，总共有多少数据，有没有缺失值，均值是多少之类的），只有自己对数据足够了解了，才能够更好地利用机器学习。我们把在正式开始机器学习之前对数据的了解过程成为探索性分析 , 简称 EDA。

02|单变量数据分析：

单边量数据是指数据集中只有一个变量，也可以是多列中的某一列（可以理解成是某一个指标）。比如一个班的体测成绩表是一个数据集（包含身高、体重、1000 米用时之类的各种指标），那么该数据集里面的某一个指标就可以看作是一个单变量数据。

我们本篇以美国总统历年在国情咨询中对国会提起的诉求数量作为实例。

2.1数据整体情况了解：

我们在拿到一批/列数据时，第一件事就是看一下这批数据的一个整体分布情况，而要看分布情况最好的方法就是绘制该批数据的散点图。

#加载需要的库%matplotlib inline
import numpy as np
plt.style.use("ggplot")
from matplotlib.pylab import frange
import matplotlib.pyplot as plt

#导入相应的数据
fill_data=lambda x:int(x.strip() or 0)#用来处理缺失值，如果缺失，用0填充
data=np.genfromtxt("D:\\Data-Science\\Exercisedata\\python数据科学指南配套文件\\president.csv",\
                   dtype=(int,int),delimiter=",",converters={1:fill_data})
x=data[:,0]
y=data[:,1]

#绘制数据图表以观察趋势
ax1=plt.subplot(1,1,1)
ax