spark
冯旭_fx
加油加油加油!!!
展开
-
pyspark udf用户自定义函数的用法
看了许多博客看的头晕转向,废话太多,其实很简单不废话,直接上干货例子一:例子二: https://docs.databricks.com/spark/latest/spark-sql/udf-python.html#use-udf-with-dataframeshttps://gist.github.com/zoltanctoth/2deccd69e3d1cde1d...原创 2018-12-18 14:55:50 · 6976 阅读 · 0 评论 -
spark dataframe函数
DataFrame 的函数Action 操作1、 collect() ,返回值是一个数组,返回dataframe集合所有的行2、 collectAsList() 返回值是一个Java类型的数组,返回dataframe集合所有的行3、 count() 返回一个number类型的,返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表...转载 2019-08-16 16:12:43 · 210 阅读 · 0 评论