2024年TOP 3大开源Python数据分析工具！_python数据分析开发工具

2018-08-01 17:10,'www2','www_access','172.68.133.49 - - [01/Aug/2018:17:10:15 +0000] "GET /wp-content/uploads/2018/07/spark-mesos-job-complete-1024x634.png HTTP/1.0" 200 151587 "https://dzone.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"' 

以下是日志行架构：

由于对数据可执行的操作的复杂性不确定，因此本文重点选取加载数据和获取数据样本两个操作来讲解三个工具。

1、Python Pandas

我们讨论的第一个工具是Python Pandas。正如它的网站所述，Pandas是一个开源的Python数据分析库。它最初由AQR Capital Management于2008年4月开发，并于2009年底开源，目前由专注于Python数据包开发的PyData开发团队继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。

首先，启动IPython并对示例数据进行一些操作。(因为pandas是python的第三方库所以使用前需要安装一下，直接使用pip install pandas 就会自动安装pandas以及相关组件)

import pandas as pd  

headers = ["datetime", "source", "type", "log"]  

df = pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 

大约一秒后，我们会收到如下回复：

[6844 rows x 4 columns]  

In [3]: 

如上所见，我们有大约7000行数据，它从中找到了四个与上述模式匹配的列。

Pandas自动创建了一个表示CSV文件的DataFrame对象，Pandas中的DataFrame数据既可以存储在SQL数据库中，也可以直接存储在CSV文件中。接下来我们使用head()函数导入数据样本。

In [11]: df.head() 



Out[11]: 



datetime source type log 



2018-08-01 17:10 www2 www_access 172.68.133.49 - - [01/Aug/2018:17:10:15 +0000]...  

2018-08-01 17:10 www2 www_access 162.158.255.185 - - [01/Aug/2018:17:10:15 +000...  

2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000...  

2018-08-01 17:10 www2 www_access 172.68.47.211 - - [01/Aug/2018:17:10:50 +0000]... 

2018-08-01 17:11 www2 www_access 141.101.96.28 - - [01/Aug/2018:17:11:11 +0000]... 

使用Python Pandas可以做很多事情， 数据科学家通常将Python Pandas与IPython一起使用，以交互方式分析大量数据集，并从该数据中获取有意义的商业智能。

2、PySpark

我们讨论的第二个工具是PySpark，该工具来自Apache Spark项目的大数据分析库。

PySpark提供了许多用于在Python中分析大数据的功能，它自带shell，用户可以从命令行运行。

$ pyspark 

这会加载pyspark shell：

(python-big-data)[email protected]:~/Development/access-log-data$ pyspark Python 3.6.5 (default, Apr 1 2018, 05:46:30) [GCC 7.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. 2018-08-03 18:13:38 WARN Utils:66 - Your hostname, admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) 2018-08-03 18:13:38 WARN Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address 2018-08-03 18:13:39 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.3.1 /_/ Using Python version 3.6.5 (default, Apr 1 2018 05:46:30) SparkSession available as 'spark'. >>> 

当你启动shell时，你会得到一个Web GUI查看你的工作状态，只需浏览到http：// localhost：4040即可获得PySpark Web GUI。

让我们使用PySpark Shell加载示例数据：

dataframe = spark.read.format("csv").option("header","false").option("mode","DROPMALFORMED").option("quote","'").load("access_logs.csv")  

dataframe.show() 

PySpark提供了已创建的DataFrame示例：

>>> dataframe2.show()  

+----------------+----+----------+--------------------+  

| _c0| _c1| _c2| _c3|  

+----------------+----+----------+--------------------+  

|2018-08-01 17:10|www2|www_access|172.68.133.49 - -...|  

|2018-08-01 17:10|www2|www_access|162.158.255.185 -...|  

|2018-08-01 17:10|www2|www_access|108.162.238.234 -...|  

|2018-08-01 17:10|www2|www_access|172.68.47.211 - -...|  

|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|  

|2018-08-01 17:11|www2|www_access|141.101.96.28 - -...|  

|2018-08-01 17:11|www2|www_access|162.158.50.89 - -...|  

|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:12|www2|www_access|172.68.47.151 - -...|  

|2018-08-01 17:12|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:12|www2|www_access|141.101.76.83 - -...|  

|2018-08-01 17:14|www2|www_access|172.68.218.41 - -...|  

|2018-08-01 17:14|www2|www_access|172.68.218.47 - -...|  

|2018-08-01 17:14|www2|www_access|172.69.70.72 - - ...|  

|2018-08-01 17:15|www2|www_access|172.68.63.24 - - ...|  

|2018-08-01 17:18|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:18|www2|www_access|141.101.99.138 - ...|  

|2018-08-01 17:19|www2|www_access|192.168.1.7 - - [...|  

|2018-08-01 17:19|www2|www_access|162.158.89.74 - -...|  

|2018-08-01 17:19|www2|www_access|172.68.54.35 - - ...|  



### 最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### 👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

![](https://img-blog.csdnimg.cn/img_convert/604bae65027d4d67fb62410deb210454.png)

#### 👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

![](https://img-blog.csdnimg.cn/img_convert/fa276175617e0048f79437bd30465479.png)



#### 👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

![](https://img-blog.csdnimg.cn/img_convert/16ac689cb023166b2ffa9c677ac40fc0.png)



#### 👉实战案例👈



学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。



因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

![](https://img-blog.csdnimg.cn/img_convert/0d8c31c50236a205928a1d8ae8a0b883.png)



#### 👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
g_convert/99461e47e58e503d2bc1dc6f4668534a.png)

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**