scala
大鹏_大数据
这个作者很懒,什么都没留下…
展开
-
**scala split遇到的坑 **
**scala split遇到的坑 **使用Scala编程很方便,常用之后就是flatMap()flatMap与split截取字符串统计遇到的坑val str = “1,122,xxx,shandongyin”val file=sc.textFile(logFile)file.flatMap(line=>line.split(",")(3))上面代码本意是根据",“分隔,取”3...原创 2018-10-25 10:55:09 · 1988 阅读 · 0 评论 -
scala中reducebykey使用时的坑
先上代码def artList(dataFrame: DataFrame) = { //dataFrame.repartition(80) //创建变量 //处理数据 val artData: RDD[(String, util.List[lang.String])] = dataFrame .repartition(180) .rdd.mapPa...原创 2018-10-25 11:03:10 · 5456 阅读 · 0 评论