笔记
qq_38599944
这个作者很懒,什么都没留下…
展开
-
spark ip识别
1. ip2region idea 上应用(spark) pom添加仓库 <dependency> <groupId>org.lionsoul</groupId> <artifactId>ip2region</artifactId> <version>1.7.2</version> </dependency> import org.lionsoul.ip2region.{DbConfi原创 2020-11-16 10:43:09 · 110 阅读 · 0 评论 -
spark-shell excel读写
https://github.com/crealytics/spark-excel原创 2020-05-09 09:57:01 · 452 阅读 · 0 评论 -
scala filter操作的记录(持续增加),创建空表
1.filter过滤指定字符串的值 val a = lines.filter(x=>x.contains("python")) //选出包含“python”的行 2.Dataframe filter sql语法正则匹配 val a = df.filter("columnName rlike '正则'") 3.Dataframe filter 过滤列表内值 val dateList = L...原创 2020-04-28 11:32:53 · 275 阅读 · 0 评论 -
idea pom文件更新版本问题
之前在idea导入scalaj包的时候scala版本总是出错,一直找不到原因,最后查找maven仓库发现是不支持某些版本,在此记录下来,避免下次类似问题采坑 https://mvnrepository.com/artifact/org.scalaj/scalaj-http ...原创 2020-04-28 11:21:46 · 499 阅读 · 0 评论