dataframe上下行比较_[转]Spark与Pandas中DataFrame对比（详细）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ljp812184246/article/details/77678591

PandasSpark

工作方式单机single machine tool，没有并行机制parallelism

不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。

支持Hadoop，能处理大量数据

延迟机制not lazy-evaluatedlazy-evaluated

内存缓存单机缓存persist() or cache()将转换的RDDs保存在内存

DataFrame可变性Pandas中DataFrame是可变的Spark中RDDs是不可变的，因此DataFrame也是不可变的

创建从spark_df转换：pandas_df = spark_df.toPandas()从pandas_df转换：spark_df = SQLContext.createDataFrame(pandas_df)

另外，createDataFrame支持从list转换spark_df，其中list元素可以为tuple，dict，rdd

list，dict，ndarray转换已有的RDDs转换

CSV数据集读取结构化数据文件读取

HDF5读取JSON数据集读取

EXCEL读取Hive表读取

外部数据库读取

index索引自动创建没有index索引，若需要需要额外创建该列