Scala
攻城狮Kevin
爱学习,爱工作,爱生活
展开
-
Arrays.asList()将数组转list
if (splitList.contains(tagKey)) { val tmpList = String.valueOf(tagValue).split("\\|").filter(!_.equals("")) tagValueArr.addAll(util.Arrays.asList(tmpList))} else { tagValueArr.add(tagValue)}split拆分出数组,然后ava.util.Arrays.asList(Array),将数组转换成list集合.原创 2020-05-15 10:51:25 · 758 阅读 · 0 评论 -
spark代码中过滤出异常的数据记录
读取hdfs文件,对每一行做处理,有的行处理的时候,解析不成功,需要导出解析不成功的数据行记录用如下代码:val rowData = sc.textFile(inputPath).filter(x => { val arr = x.split(splitType, -1) val faid = arr(0) val tagkv = arr(1)...原创 2020-04-08 20:31:43 · 1302 阅读 · 2 评论 -
net.sf.json包的json使用时,报JSON keys must be Strings的问题
在spring boot的项目中,由于二次序列化,fastjson解析数据落盘至HDFS路径时,会造成反斜杠\换用net.sf.json.json可以解决这个问题但是net.sf.json.json对于两种json解析不成功,一种是key为"null"的情况,另一种是key中存在\“XXX”反斜杠导致解析不成功的情况报错如下:具体解析使用的是val json = JSON...原创 2020-04-08 19:35:03 · 960 阅读 · 0 评论 -
json串消除反斜杠\的方法
json转成jsonString的时候,在scala代码里如果序列化的话,最终落盘到HDFS上的数据,如果本身是spring boot的项目,由于spring打包时会序列化一次,所以相当于json序列化了两次,所以会有反斜杠\例如:“{\"resourceId\":"{\"dfhdgfhdh\"}"}"1. 有反斜杠\2. json的{}变成了"{ }"3. jso...原创 2019-12-07 10:47:04 · 7356 阅读 · 0 评论 -
IDEA项目中scala读取Resource中的配置文件代码
代码如下:val prop = new Properties()val inputStream = dataToEsFullWimeiUsedcar.getClass.getClassLoader().getResourceAsStream("XXX.properties")if (Objects.isNull(inputStream)) { throw new Exception(...原创 2019-12-02 14:09:49 · 4794 阅读 · 0 评论 -
scala隐式转换(隐式函数、隐式值、隐式类)implicit
目录隐式转换的目的:隐式转换的时机:一、隐式函数实例1:隐式函数类型转换实例2:隐式函数 & 类结合使用二、隐式变量(隐式值)& 隐式参数三、隐式类实例:与 隐式函数 & 类结合使用的对比四、隐式转换机制隐式转换的目的:通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这...原创 2019-01-10 12:20:49 · 361 阅读 · 0 评论 -
scala数据结构——数组
首先贴一下Java中集合和数组的概念区别:(1)数组的大小固定,并且元素必须是同一类型;(2)集合中可以存储不同数据类型的元素(3)Java里的数组是[],集合是{},scala中数组和集合都是()数组和集合的区别目录一、定长数组Array二、变长数组ArrayBuffer三、遍历数组四、原数组基础上运算出新数组五、数组的常用算法六、数组转换(scala...原创 2019-01-17 11:41:40 · 423 阅读 · 0 评论 -
Scala集合——元组Tuple、列表List、集合Set、队列Queue、映射Map
一、元组tuple元组(tuple)类似Java中的集合,可以放入不同类型的数据,元组最多存放22个数据把无关的对象变成一个整体例如:val t1:(String,Int,Double,boolean) = ("abc",123,23.6,true),这个元素的类型就是(String,Int,Double,boolean)//元组object TupleDemo1 { ...原创 2019-01-18 09:10:30 · 2312 阅读 · 0 评论