Scala
꧁꫞ND꫞꧂
每一天都值得期待与认证对待
展开
-
普通项目读取resources文件
我们平时运行的时候,对于普通项目的配置问题,应该是配置到对应的配置文件,不是写到某个类里面。在idea和服务器上的类位置不同,所以访问配置资源文件的地址和方式有所不同。Java的方式读取resources文件的方式:public static void main(String[] args) throws IOException { File file = new File("src/main/resources/sshConfig.properties"); I.原创 2020-10-14 11:05:19 · 1500 阅读 · 0 评论 -
Gson中的API在Scala中的实现
Scala 中处理json1. Lift-json2. Gson3. Json4s4. spray-jso但是发现Fastjson不能再用了,存在安全漏洞。fastjson采用黑白名单的方法来防御反序列化漏洞,导致当黑客不断发掘新的反序列化Gadgets类时,在autoType关闭的情况下仍然可能可以绕过黑白名单防御机制,造成远程命令执行漏洞。经研究,该漏洞利用门槛较低,可绕过autoType限制,风险影响较大。阿里云应急响应中心提醒fastjson用户尽快采取安全措施阻止漏洞攻击。原创 2020-08-17 16:57:37 · 580 阅读 · 0 评论 -
scala 反射
主要实现:java 实现反射:java反射需要继承序列化extends Serializable反射调用 scala class 中的函数val clazz = Class.forName("com.testclass") //构造一个需要反射类的对象 clazz //使用该对象去获取私有函数 .getDeclaredMethod(s"$函数名", classOf[String], classOf[String]) //并得到该函数入参的数据类型,如有多个入参,要声原创 2020-08-06 14:52:50 · 817 阅读 · 0 评论 -
Flink任务请求一次后失败,task无限重启
在flink上提交任务的时候,获取Oracle的数据计算后可以正常回调,但是获取hbase的数据后,只能回调一次后,task就卡住了,最后通过修改元空间 增加启动yjm和ytm搞定jobmanage日志如下:7:45:11.443 TKD [main-EventThread] ERROR o.a.f.s.c.o.a.c.ConnectionState - Authentication failed17:45:20.998 TKD [flink-rest-server-netty-worker.原创 2020-08-04 17:31:27 · 2278 阅读 · 1 评论 -
scala 自带HTTP请求
scala 回调函数写法一:根据自己的scala版本号 导入依赖 <dependency> <groupId>org.scalaj</groupId> <artifactId>scalaj-http_2.12</artifactId> <version>2.4.1</version> </dependency>然后执行http请求即可,简单soeas.原创 2020-08-04 13:50:41 · 2564 阅读 · 1 评论 -
java.lang.NoClassDefFoundError: scala/Product$class
当我们使用依赖的时候,如果写错了,需要删掉重写导入一下,有的时候,就算你在maven里面重写引入一下 也不行,依赖删掉后在引入新的依赖object FlinkSQL2Hbase { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val batchEnv = BatchTableEnvironment.create(env) v.原创 2020-07-27 16:54:46 · 6242 阅读 · 1 评论 -
Flink+JDBCInputFormat+Druid
Flink是适合流计算和批处理,不管是哪种方式,主要的重点是对数据的处理计算。如果想作为一个web项目实时的访问某个数据库,这样的方式就会有点不太合适,但是也有更好的方式结合Druid使用,可以自行去CSDN上下载https://www.iteye.com/resource/cx361006796-10638225以下是两种方式去访问关系型数据库,一、自定义的Source,二、重写JDBCInputFormat然后在里面重写一些方法实现数据库连接池的修改。Flink的自定义Source的方式实现连.原创 2020-07-22 19:16:35 · 2792 阅读 · 0 评论 -
Flink之ParameterValuesProvider 传参拼装
关系型数据库的查询参数拼装def oracleData (parameter: Map[String, Object], env: ExecutionEnvironment): DataSet[Row] = { //获取组合 val ids = parameter.get(IndexParams.PF_ID).get.toString //获取币种 val ccyType = parameter.get(IndexParams.CCY_TYPE).get.toStr.原创 2020-07-21 17:59:22 · 519 阅读 · 0 评论 -
Hbase过滤器FilterList中的AND和OR的整合
HBase 内置过滤器可以分为三类:分别是比较过滤器,专用过滤器和包装过滤器。但是我要介绍一下这个Filterlist:如果有多个过滤条件需要我们做筛选,可以使用功能filterlist将他们组装到一起。当然,Hbase大数据情况下还是尽量做好rowkey的设计,少的加入这么多过滤。比如:select * from table a left join b on a.id=b.id where a.id=1 and a.name="lisan" and (a.age>15 or b.age &.原创 2020-07-14 10:43:39 · 1396 阅读 · 4 评论 -
Scala中怎么用ListMap
其实语法大家都知道,知识环境不一样,可能我们的需求也不一样,最近遇到一个问题:要求每个功能使用java和scala两种语言实现,但是最后的返回结果使用同一个格式返回,java里返回的List<Map<String,String>>结果,那么在scala里处理成以下格式package flinkonkafkaimport java.utilimport scala.collection.mutable.ArrayBufferobject TOB { def ma原创 2020-06-18 15:09:41 · 893 阅读 · 0 评论