精选10个Python库，几行代码轻松搞定探索性数据分析！

最新推荐文章于 2024-12-26 17:16:29 发布
最新推荐文章于 2024-12-26 17:16:29 发布
阅读量357 收藏
点赞数
文章标签： 可视化 python 机器学习 人工智能 数据分析
原文链接：https://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247520693&idx=3&sn=6315ca426ab7c0a1df7822472973911c&chksm=978b067aa0fc8f6c179fdcadf218326c30c9f42a5f623b649676336a46fbce5630f456f3dc7a&scene=126&&sessionid=0
版权 
 
 
点击上方“菜鸟学Python”，选择“星标”公众号
 
 
超级无敌干货，第一时间送达！！！
 
 
1614772f633061bd5a2213830071f904.jpeg
 
 
探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。
 
 
  1. DTale
  2. Pandas-profiling
  3. sweetviz
  4. autoviz
  5. dataprep
  6. KLib
  7. dabl
  8. speedML
  9. datatile
  10. edaviz
 
 
1、D-Tale
 
 6818a7e8ab6df802f42a456507411027.png 
 
D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。
 
 
import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))
 
 e307380960841f586100fb7f67d4f1e0.gif 
 
D-Tale库用一行代码就可以生成一个报告，其中包含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析，上面截图中我们可以看到图表是可以进行交互操作的。
 
 
2、Pandas-Profiling
 
 ef5cb1dd9d7f607783dd39c262a1f7fe.png 
 
Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。
 
 
#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")
 
 718337e0af6d0dd95ba8ed8b26bbe9cd.gif 
 
3、Sweetviz
 
 
8cbc20c48357dac8da09034182277e4b.png
 
 
Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。
 
 
import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')
 
 
Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。
 
 84890c550646b305f8241e354ebd3d1c.gif 
 
4、AutoViz
 
 09d4e52542ba837046e16e520545cb45.png 
 
Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。
 
 
import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')
 
 3b99d2cabd3e5795ff214bd55f2e8422.gif 
 
5、Dataprep
 
 
5983fd69cb0f8dbc07731a50ab9bdae1.png
 
 
Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，可以很容易地与其他Python库集成。
 
 
DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。
 
 
from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()
 
 4e758e212cf28f9932002898ec2bc14b.png 
 
6、Klib
 
 493eed5a8874e676d968a7d2b22e059f.png 
 
klib是一个用于导入、清理、分析和预处理数据的Python库。
 
 
import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)
 
 5fb10927ab687c120edf26b8a8bd375e.png 
 
klib.corr_plot(df_cleaned, annot=False)
 
 
2e7f038923d4f16652ad60f898d76d84.png
 
 
klib.dist_plot(df_cleaned['Win_Prob'])
 
 1fe38daa0b2938b55810748eaadc39ef.png 
 
klib.cat_plot(df, figsize=(50,15))
 
 bab101a8119b6e837b52308625b92623.png 
 
klibe虽然提供了很多的分析函数，但是对于每一个分析需要我们手动的编写代码，所以只能说是半自动化的操作，但是如果我们需要更定制化的分析，他是非常方便的。
 
 65d93900a81889660a2c2520de832b44.gif 
 
7、Dabl
 
 
Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供快速概述，以及方便的机器学习预处理和模型搜索。
 
 79f5d84fcbab8526089f88074835b4e1.png 
 
dabl中的Plot()函数可以通过绘制各种图来实现可视化，包括:
 
 
  • 目标分布图
  • 散点图
  • 线性判别分析
 
 
import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")
 
 f506d544457eff1f05ddcc0a302067a2.gif 
 
8、Speedml
 
 
SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实SpeedML不仅仅包含自动化EDA的功能。
 
 
SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。
 
 
from speedml import Speedml

sml = Speedml('../input/train.csv', '../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()
 
 eccc42fbd7f83e9eb24489616b7dbedf.png 
 
sml.plot.correlate()
 
 
d9eebaf1fc3d876b0147c56bd0708394.png
 
 
sml.plot.distribute()
 
 
6a72b793cb37552935cf1672a14f6faf.png
 
 
sml.plot.ordinal('Parch')
 
 
2e21e07ff4240b35c832e4acad4378be.png
 
 
sml.plot.ordinal('SibSp')
 
 
c76229c4bec7b225f4001cdf9cfa7133.png
 
 
sml.plot.continuous('Age')
 
 2fae8178c295d66808bb0f043f7dfdba.png 
 
9、DataTile
 
 
DataTile（以前称为Pandas-Summary）是一个开源的Python软件包，负责管理，汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe（）函数的扩展。
 
 
import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()
 
 c81fadea39b8a9675843e912ac0d27f8.png 
 
10、edaviz
 
 
edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库，他本来是非常好用的，但是后来被砖厂(Databricks)收购并且整合到bamboolib 中，所以这里就简单的给个演示。
 
 
248ffda2218aca117c973b8b6c9408b7.gif
 
 
总结
 
 
在本文中，我们介绍了10个自动探索性数据分析Python软件包，这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。
 
 
Dataprep是我最常用的EDA包，AutoViz和D-table也是不错的选择，如果你需要定制化分析可以使用Klib，SpeedML整合的东西比较多，单独使用它啊进行EDA分析不是特别的适用，其他的包可以根据个人喜好选择，其实都还是很好用的，最后edaviz就不要考虑了，因为已经不开源了。
 
 
来源丨数据STUDIO
 
 
 
 
推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街！唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！|  再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜
 
 
年度爆款文案
 
  
 
点阅读原文，看B站我的视频！
 


                

        

    

  



    



                



	

		

			

				
					
用python做探索性因子分析（Exploratory Factor Analysis，EFA）全代码

				
			

			

				

					环湖数据科学知识共享平台
				

				

					09-03
					
					1259
					
				

			

		

		

			
				
各位朋友大家好，今天把降维中的因子分子和大家分享一下，这里举的例子是探索性因子分析

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import os
os.chdir(r'G:\Pythoncode\Machine-Learning-Exercises-master\12.Factor Analysis')
with open('Standford.txt','r') as file:
  heade...

			
		

	



                

            
              



	

		

			

				
					
python交互界面数据分析_如何用 Python 和 Streamlit 做交互式数据分析产品？

				
			

			

				

					weixin_39557199的博客
				

				

					11-30
					
					1518
					
				

			

		

		

			
				
「本文参与少数派 2019 年度征文 + 效率有心得」不用学前端编程，你就能用 Python 简单高效写出漂亮的交互式 Web 应用，将你的数据分析成果立即展示给团队和客户。痛点从我开始折腾数据分析工具的那一天，就没有想明白一件事儿 —— 为什么我打算把数据分析的成果做成一个应用，这么难？其实我需要的核心功能，无非是在网页上接收用户输入，然后做分析处理，把分析结果反馈给用户，完事儿。可是这谈何容易...

			
		

	



              


  
              

                


	

		

			

				
					
探索性数据分析源代码.zip

				
			

			

				

					05-24
				

			

		

		

			
				
探索性数据分析源代码及测试数据

			
		

	





	

		

			

				
					
python数据分析_Python 数据分析的 10 个小技巧

				
			

			

				

					weixin_39542043的博客
				

				

					11-02
					
					174
					
				

			

		

		

			
				
一些小提示和小技巧可能是非常有用的，特别是在编程领域。有时候使用一点点黑客技术，既可以节省时间，还可能挽救“生命”。一个小小的快捷方式或附加组件有时真是天赐之物，并且可以成为真正的生产力助推器。所以，这里有一些小提示和小技巧，有些可能是新的，但我相信在下一个数据分析项目中会让你非常方便。Pandas中数据框数据的Profiling过程Profiling(分析器)是一个帮助我们理解数据的过...

			
		

	



		

			
		



	

		

			

				
					
Kaggle泰坦尼克数据探索代码与理解

				
			

			

				

					a5139515的博客
				

				

					03-20
					
					989
					
				

			

		

		

			
				
这几天开始kaggle比赛的学习,首先适合拿来练习的是泰坦尼克号的生还人员推断,由于当时撤退时是按照一定顺序,如老弱优先,所以从有可能从不同乘车人员的年龄,性别,票价,舱位,家中亲人数量等信息推断出该人是否可以生还.首先载入基本的应用import pandas as pd #数据分析import numpy as np #科学计算from pandas import Series,DataFram...

			
		

	





	

		

			

				
					
数据探索

				
			

			

				

					漫步云端
				

				

					03-15
					
					1129
					
				

			

		

		

			
				
3.1数据质量分析

1、使用pandas读取excel中的数据，并使用describe()函数 查看数据的基本情况

import pandas as pd
catering_sale='data/catering_sale.xls'
data=pd.read_excel(catering_sale,index_col=u'日期')
print(data)
print(data.describe...

			
		

	





	

		

			

				
					
【Python数据处理实战】：轻松搞定Python数据处理，成为数据分析师！

				
			

			

				

					
				

			

		

		

			
				
[【Python数据处理实战】：轻松搞定Python数据处理，成为数据分析师！](https://img-blog.csdnimg.cn/4eac4f0588334db2bfd8d056df8c263a.png)  # 摘要 随着数据科学的蓬勃发展，Python语言因其强大的数据处理能力而...

			
		

	





	

		

			

				
					
Python数据分析_day_1

				
			

			

				

					AGI爱好者_数仓&可视化&数据分析工程师_Vae’伯乐‘
				

				

					12-24
					
					732
					
				

			

		

		

			
				
Python作为当下最为流行的编程语言之一可以独立完成数据分析的各种任务数据分析领域里有海量开源库机器学习/深度学习领域最热门的编程语言在爬虫，Web开发等领域均有应用与Excel，PowerBI，Tableau等软件比较Excel有百万行数据限制PowerBI ，Tableau在处理大数据的时候速度相对较慢Excel，Power BI 和Tableau 需要付费购买授权Python功能远比Excel，PowerBI，Tableau等软件强大。

			
		

	





	

		

			

				
					
《Python宝藏库大揭秘：10类重要的Python库解析》：此文为AI自动生成

				
			

			

				

					zheng_ruiguo的专栏
				

				

					12-26
					
					3344
					
				

			

		

		

			
				
《Python宝藏库大揭秘：10类重要的Python库解析》

			
		

	





	

		

			

				
					
Seaborn安装秘籍：新手也能轻松搞定的Python数据可视化环境搭建

				
			

			

				

					
				

			

		

		

			
				
数据可视化作为数据分析过程中不可或缺的一环，不仅提升了数据处理的趣味性，还极大地提高了信息传递的效率。Seaborn，作为Python中一个强大的数据可视化库，它基于matplotlib并在此基础上提供了丰富而美观的默认...

			
		

	





	

		

			

				
					
探索性数据分析源代码.rar

				
			

			

				

					07-22
				

			

		

		

			
				
对已有的数据的假定下进行探索，通过作图、制表、方程拟合、计算特征量的一种分析方法。在建模前是一个很重要的数据探索方法。

			
		

	





	

		

			

				
					
一行代码搞定数据探索性分析（EDA）

				
			

			

				

					暮雨听轩的专栏
				

				

					02-08
					
					619
					
				

			

		

		

			
				
一行代码搞定数据探索性分析（EDA）

查看名为 data 的 dataframe 里面字段分布情况，并输出为 df_profile.html

大家可以准备一个 dataframe 运行一下这个代码看看，

其中有data 的字段统计，哥字段分布、缺失值占比、平均值、最大值、最小值等等，下图有其中一个字段的输出结果

import pandas as pd
import pandas_profiling

pfr = pandas_profiling.ProfileReport(data)
pfr....

			
		

	





	

		

			

				
					
几行代码实现探索性数据分析

				
			

			

				

					记录自己学习/实习 过程中的一些知识点 不至于学完就忘
				

				

					02-08
					
					82
					
				

			

		

		

			
				
使用DataPrep轻松实现探索性数据分析。

			
		

	





	

		

			

				
					
Sweetviz 让你三行代码实现探索性数据分析

				
			

			

				

					Python实用宝典网
				

				

					10-28
					
					434
					
				

			

		

		

			
				
Sweetviz是一个开源Python库，它只需三行代码就可以生成漂亮的高精度可视化效果来启动EDA(探索性数据分析)。输出一个HTML。如上图所示，它不仅能根据性别、年龄等不同栏目纵向分...

			
		

	





	

		

			

				
					
10个自动EDA库功能介绍：几行代码进行的数据分析靠不靠谱

				
			

			

				

					deephub
				

				

					08-06
					
					3869
					
				

			

		

		

			
				
在本文中整理了10个可以自动执行EDA并生成有关数据的见解的软件包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。

			
		

	





	

		

			

				
					
两种方法教你一行代码实现探索性数据分析报告

				
			

			

				

					阿里云专家博主、数据科学领域优质创作者、统计er在读
				

				

					04-28
					
					4517
					
				

			

		

		

			
				
探索性数据分析（EDA） 是使用可视化方法总结和分析数据集主要特征的过程。EDA是数据科学家要做的第一部分，如果我们不懂得如何进行EDA，那么无法对数据进行进一步的建模。上一篇文章我以泰坦尼克号数据为例，介绍了如何使用python详细的进行探索性数据分析，但有时这是很耗费时间的，现在，我介绍两种方法实现一行代码生成探索性数据分析报告。分别使用以下两个包，如果没有安装的小伙伴先去安装一下...

			
		

	





	

		

			

				
					
Python基础：数据集探索

				
			

			

				

					weixin_62134940的博客
				

				

					12-11
					
					520
					
				

			

		

		

			
				
获取某个数据集，进行数据探索，基于该数据集针对某个问题的结论最终以图表展示。具体包括：（1）目的、样本与特征描述；（2）基本描述性统计信息（均值、方差、中位数、分位数等）或分布描述信息（散点图、箱体图等）；（3）针对问题的结论呈现。

			
		

	





	

		

			

				
					
机器学习完整项目实战附代码(一)：探索型数据分析+特征工程+建模+报告

					
热门推荐

				
			

			

				

					轩逸云的博客
				

				

					05-17
					
					2万+
					
				

			

		

		

			
				
1. 项目背景
  泰坦尼克号的沉没是历史上最臭名昭著的沉船之一。1912年4月15日，在她的处女航中，被广泛认为“不沉”的“泰坦尼克号”在与冰山相撞后沉没。不幸的是，船上的每个人都没有足够的救生艇，导致2224名乘客和船员中有1502人死亡。虽然生存中有一些运气因素，但似乎有些群体比其他群体更有可能生存下来。在这里，建立一个预测模型来回答这个问题：“什么样的人更有可能生存？”使用乘客数据（即姓名，年龄，性别，社会经济阶层等）。
1.1 项目目标：
  这是一个受监督的分类机器学习任务：给定一组包含目标（在

			
		

	





	

		

			

				
					
Python数据探索性分析和预处理

				
			

			

				

					Itsme_MrJJ的博客
				

				

					08-15
					
					7255
					
				

			

		

		

			
				
除了上面介绍的三种基于分布的方法，还有使用算法基于距离的异常值判定，比如：使用KNN算法，依次计算每个样本点与它最近的K个样本的平均距离，再利用计算的距离与阈值进行比较，如果大于阈值，则认为是异常点。在搜集数据的某些情况下，有些时候并不一定会收集到数据，因而会造成观测值或变量的数据有缺失，这些缺失的数据就称之为缺失值。总之，处理缺失值是需要研究数据规律与缺失情况来进行处理的，复杂的算法不一定有好的效果，因此，还要具体问题具体分析，尤其是要搞明白字段含义以及缺失意义，这往往容易被忽略。...

			
		

	





	

		

			

				
					
cmd如何寻找文件

					
最新发布

				
			

			

				

					03-23
				

			

		

		

			
				
### 使用CMD命令查找文件的方法

在Windows操作系统中，`cmd`提供了多种方式用于搜索文件。以下是几种常见的方法及其具体实现：

#### 方法一：通过 `dir` 和 `/s` 参数
`dir` 是 Windows 中最基本的目录列表显示工具之一。配合 `/s` 参数可以递归地搜索当前目录及其子目录中的目标文件[^3]。

- **命令格式**：
  ```bash
  dir 文件名 /s
  ```
- **说明**：此命令会在当前目录及其所有子目录中寻找匹配的文件，并返回其完整路径。
  
例如，要查找名为 `example.txt` 的文件，可执行如下命令：
```bash
dir example.txt /s
```

---

#### 方法二：结合 `find` 进行过滤
如果希望进一步筛选结果，可以将 `dir /s` 输出的结果传递给 `find` 或者 `findstr` 工具进行关键字过滤[^5]。

- **命令格式**：
  ```bash
  dir /s /b | find "关键词"
  ```

- **示例**：假设需要找到包含单词 `report` 的文件路径，则运行以下命令：
  ```bash
  dir /s /b | find "report"
  ```

这种方式特别适合于模糊查询场景，能够有效减少无关结果的数量。

---

#### 方法三：利用通配符直接定位特定模式的文件
对于已知部分文件名的情况（比如知道扩展名或者前缀），可以直接采用带通配符的方式调用 `dir` 命令。

- **命令实例**：
  如果想查寻以 `.log` 结尾的日志类文档，在桌面所在的磁盘驱动器里输入下面语句即可完成任务。
  ```bash
  dir *.log /s
  ```

此外还可以限定范围至某个特殊命名规则之内，像寻找名字中含有日期字段的数据集对象等复杂需求也同样适用该逻辑处理机制。

---

#### 方法四：高级字符串匹配——借助 `findstr`
当面对更加复杂的条件设定时，如需精确到某几行内部含有指定短语的内容提取工作，则推荐运用强大的文本分析利器 —— `findstr` 来达成目的[^2]。

- **基本语法结构**
  ```bash
  findstr /s /n "待搜索单词" 路径\*.类型
  ```

举个例子来说就是如果我们想要从桌面上所有的 txt 文档当中快速锁定那些提及了 aaa 字样的地方的话就可以这么写：
```bash
findstr /s /n "aaa" C:\Users\Username\Desktop\*.txt
```

这里的每一个组成部分都有各自的作用：“/S”表示在整个树形结构里面展开探索；而"/N"则负责标注每一项发现的具体编号以便后续追踪管理变得更为便捷高效起来。

---

### 总结
综上所述，无论是简单的全盘扫描还是针对性强的局部探测亦或是深入挖掘隐藏细节层面的操作都可以依靠上述介绍过的这些基础却实用性强悍无比的功能模块轻松搞定！

```python
def search_file(file_name, drive='C:\\'):
    import os
    result = []
    for root, dirs, files in os.walk(drive):
        if file_name in files:
            result.append(os.path.join(root, file_name))
    return result
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值