![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
shanghai_in_summer
这个作者很懒,什么都没留下…
展开
-
UDF(UserDefinedFunction)
UDF类似于map或lambda,其定义的函数可用于Spark中的DataFrame中行数据的处理。 val df = Seq( (1, "boy", "裤子"), (2, "girl", "裤子"), (3, "boy", "裙子"), (4, "girl", "裙子"), (5原创 2019-01-05 18:13:19 · 3862 阅读 · 0 评论 -
SparkSql易错点
1、s"var = $val"。正确写法:s" var = '$val' "; 2、select 语句中的字段在多个子查询中都有,导致指定模糊; 3、占比数值要统一,有的单位为%,有的不是的话就容易出错; ...原创 2019-03-20 11:06:54 · 111 阅读 · 0 评论 -
spark Sql 读取数据
1、读取parquet格式数据,例: val a = spark.read.parquet("hdfs://emr-cluster/.../2019-07-16/part-8e2a5828-417c-c000.snappy.parquet") //scala版 未完待续原创 2019-07-17 12:17:27 · 148 阅读 · 0 评论