Python如何进行大数据分析？

大模型芜芜

已于 2024-01-08 18:31:02 修改

阅读量874

点赞数

文章标签： python 数据分析大数据数据挖掘 python自学

于 2023-03-01 11:45:55 首次发布

本文链接：https://blog.csdn.net/weixin_72959097/article/details/129278047

版权

文章介绍了在大数据场景下，当Pandas处理效率低下时，如何使用Spark进行高效的数据分析。通过PySpark，可以方便地对百万级以上数据进行操作，如构建连通图并找出同一社区的成员。文中提供了一个具体案例，展示了如何使用PySpark解决连通图问题，强调了Spark在大数据处理中的优势。

摘要由CSDN通过智能技术生成

大家应该都用Python进行过数据分析吧，Pandas简直就是数据处理的第一利器。但是不知道大家有没有试过百万级以上的数据，这时候再用Pandas处理就是相当的慢了。

那么对于大数据来说，应该用什么处理呢？

在公司的日常工作中，其实会使用Spark来进行大数据分析偏多。企业数据的分析始于读取、过滤和合并来自多个数据源的文件和数据流[1]。

Spark数据处理引擎是这方面的佼佼者，可处理各种量级的数据，其传输速度比Hadoop系统快100倍。得益于SQL的支持、直观的界面和简单的多语言API，你可轻松使用Spark，而不必学习复杂的新型生态系统。

对于Python爱好者来说PySpark则更为熟悉，我们可以通过调用Python API的方式来编写Spark程序，它支持了大多数的Spark功能，比如SparkDataFrame、Spark SQL、Streaming、MLlib等等。

关于PySpark与GraphFrames的安装与使用可以查看这篇博客：

https://xxmdmst.blog.csdn.net/article/details/123009617

下面我们通过一个小案例，来看看如果用PySpark求解问题[2]。

PySpark求解连通图问题

刘备和关羽有关系，说明他们是一个社区，刘备和张飞也有关系，那么刘备、关羽、张飞归为一个社区，以此类推。
在这里插入图片描述

对于这个连通图问题使用Pyspark如何解决呢？

首先，我们创建spark对象：

from pyspark.sql import SparkSession, Rowfrom graphframes import GraphFramespark = SparkSession \    .builder \    .appName("PySpark") \    .master("local[*]") \    .getOrCreate()sc = spark.sparkContext# 设置检查点目录sc.setCheckpointDir("checkpoint")

然后构建数据：

data = [    ['刘备', '关羽'],    ['刘备', '张飞'],    ['张飞', '诸葛亮'],    ['曹操', '司马懿'],    ['司马懿', '张辽'],    ['曹操', '曹丕']]data = spark.createDataFrame(data, ["人员", "相关人员"])data.show()

输出结果：

+------+--------+|  人员|相关人员|+------+--------+|  刘备|    关羽||  刘备|    张飞||  张飞|  诸葛亮||  曹操|  司马懿||司马懿|    张辽||  曹操|    曹丕|+------+--------+

很明显原始数据就是图计算所要求的边数据，只修改一下列名即可：

edges = data.toDF("src", "dst")edges.printSchema()

输出结果：

root |-- src: string (nullable = true) |-- dst: string (nullable = true)

下面我们开始构建顶点数据：

vertices = (    edges.rdd.flatMap(lambda x: x)            .distinct()            .map(lambda x: Row(x))            .toDF(["id"]))vertices.show()

输出结果：

+------+|    id|+------+|诸葛亮||  刘备||  曹操||司马懿||  曹丕||  关羽||  张飞||  张辽|+------+

下面使用spark的图计算计算连通图：

g = GraphFrame(vertices, edges)result = g.connectedComponents().orderBy("component")result.show()

输出结果：

+------+------------+|    id|   component|+------+------------+|司马懿|           0||  张辽|           0||  曹丕|           0||  曹操|           0||  关羽|635655159808||  刘备|635655159808||  张飞|635655159808||诸葛亮|635655159808|+------+------------+

可以看到结果中已经顺利将一个社区的成员通过一个相同的component标识出来，成功解决需求。

作为数据从业者，工作越来越离不开Spark，而无论你使用Python、Scala或Java编程语言，实际上都可以调用Spark实现大数据分析的高效操作。

-END-

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、自动化测试带你从零基础系统性的学好Python！