python iloc 只取数值_python—如何从 DataFrame 中提取值（我想要的是int而不是row）并对其进行简单计算？...

编辑我没有注意到您询问的是python，我用scala编写了代码，但是原则上解决方案应该是相同的，您应该只使用python api

dataframe本质上是一个 DataSet 合的包装器。分发，但仍然是一个集合。有一个org.apache.spark.sql.dataset collect操作，它实际上是将该集合展开为一个简单的scala array。当您有一个 array时，您可以简单地从中获取第n个元素，或者，因为您只关心第一个元素，所以可以对 array调用head()来获取第一个元素。因为您使用的是 DataFrame ，所以有一个org.apache.spark.sql.row元素的集合。要检索元素的值，必须调用getdouble或从中提取任何值。

总结一下，这是一个可以做您想要做的事情的代码(大致上)：

val grouped_df = df2.map(lambda label : (label, 1)).reduceByKey(lambda a, b: a +b)

val collectionOfValues: Array[Row] = grouped_df.collect

val topRow: Row = collectionOfValues.head

val value: Double = topRow.getDouble

希望这就是你要找的。

请 root据文件注意：

运行collect需要将所有数据移动到应用程序的驱动程序进程中，并且在非常大的 DataSet 上执行此操作可能会导致驱动程序进程崩溃，并出现outofmemoryerror