scala
dounine
这个作者很懒,什么都没留下…
展开
-
Scala精简版Filebeat日志采集器
多功能Scala精简Filebeat日志采集版,可高度定制化。依赖包compile group: 'org.apache.commons', name: 'commons-lang3', version: '3.7'compile group: 'commons-io', name: 'commons-io', version: '2.6'compile group: 'com.go...原创 2018-12-07 17:23:41 · 392 阅读 · 0 评论 -
Gradle 打包上传中央仓库
打包步骤生成gpg密钥gpg --full-generate-keygpg (GnuPG) 2.2.12; Copyright (C) 2018 Free Software Foundation, Inc.This is free software: you are free to change and redistribute it.There is NO WARRANTY, to t...原创 2019-01-10 10:14:16 · 1396 阅读 · 0 评论 -
Spark 资源动态释放
通过spark-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,yarn新版本默认已经支持了,我们使用的是HDP。版本如下配置HDP里面已经默认支持spark动态资源释配置代码配置val sparkConf = new SparkConf() .set("spark.shuffle.service.enabled",...原创 2019-01-10 10:16:01 · 2893 阅读 · 0 评论 -
你们还在用 Scala Tuple234..? Outer啦
为什么这么说呢,难道我自己多年使用的方式错了嘛,是的,你没错,我错了,哈哈,主要原因是使用Tuple的时候容易搞错对象,Tuple2的时候还知道第一个参数跟第二个参数的意思,后面多来个几参数你会记得_1._2._3._4代表的意思是什么吗?代码结构也不好维护,所以请结束使用Tuple吧请开始你的表演正常使用Tupleval list = Array((1,2,3,4),(5,6,7,8...原创 2019-01-31 14:41:19 · 288 阅读 · 0 评论 -
Scala shell 使用外部包方法
我们可以使用scala shell做很多事情,比如测试一些demo,不用再打开idea那类那么重的编辑器,当然还有其它用法,像我们使用hbase有这样的问题,只是想测试hbase一些东西,但是每次连接hbase很慢,使用scala shell可以先把hbase连接池先创建好,需要测试什么样的代码直接放进去执行即可,即共享变量。使用方法引用单个包scalaWelcome to Scala...原创 2019-01-31 14:42:07 · 1149 阅读 · 1 评论 -
Scala 反射动态创建方法的骚操作
有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然了,每个人的需求都不一样,但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...原创 2019-02-27 20:50:50 · 2506 阅读 · 0 评论 -
Scala case class 动态copy
在scala中、case class 确实好用、但是只支持指定字段名称使用copy复制、在动态情场中、一个类的字段可是非常多的、如何处理这样的问题?这就得使用到反射功能了、下面已经给大家写好了。CopyUtil.scalaimport java.lang.reflect.Modifierobject CopyUtil { def copy[T](o: T, vals: (Stri...原创 2019-08-25 15:01:44 · 1258 阅读 · 0 评论