- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 org.apache.spark.sql.functions._
集合函数approx_count_distinctcount_distinct近似值avg平均值collect_list聚合指定字段的值到listcollect_set聚合指定字段的值到setcorr计算两列的Pearson相关系数count计数countDistinct去重计数 SQL中用法select count(distinct class)covar...
2019-05-23 20:41:02
1447
转载 DataFrame 的函数
DataFrame 的函数Action 操作1、collect() ,返回值是一个数组，返回dataframe集合所有的行2、collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行3、count() 返回一个number类型的，返回dataframe集合的行数4、describe(cols: String*) 返回一个通过数学计算的...
2019-05-23 19:44:46
472
原创 spark 常用操作
该文章记录使用的spark的基本操作import breeze.numerics.powimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionobject template { def kismet(): Unit = { val spark = SparkSession.builde...
2019-05-16 13:41:35
237
原创 class type required but T found 获取Scala泛型的Class
问题代码：object Test { def msgHandler[T: Classtag](msg: String){ val clazz = classOf[T]) //获取T的泛型时报错 ... }}代码编译报错class type required but T found那么如何通过泛型T获取到其Class呢import scala....
2019-05-15 14:54:46
2733
1
idea hadoop-hdfs插件
2018-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人