![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scala
dingyufei615
从事某医疗互联网大数据研发岗,编程语言主要Java/Scala,熟悉主流大数据计算引擎Spark及Hadoop生态圈及常用开源组件kafka,zookeeper等,熟悉ELK技术栈,Hbase,Hive,Delta等数据存储层框架,主要负责我司用户画像,内容画像相关业务的研发,参与画像数据治理及监控预警等系统的研发工作。
展开
-
职责链模式的别扭就像用门框夹核桃
职责链模式责任链模式在面向对象程式设计里是一种软件设计模式,它包含了一些命令对象和一系列的处理对象。每一个处理对象决定它能处理哪些命令对象,它也知道如何将它不能处理的命令对象传递给该链中的下一个处理对象。该模式还描述了往该处理链的末尾添加新的处理对象的方法。以上是wiki对职责链模式的定义。举个例子来说,我们的系统中需要记录日志的功能。日志需要根据优先级被发送到不同的地方。低优先级的日志输出到命令行就好了。而高优先级的错误信息则需要通过邮件通知相关人员并且输出到命令行。这个例子也是来转载 2020-09-25 17:04:28 · 167 阅读 · 0 评论 -
Scala中Stream的应用场景及其实现原理
假设一个场景需要在50个随机数中找到前两个可以被3整除的数字。听起来很简单,我们可以这样来写: 123456789 def randomList = (1 to 50).map(_ => Random.nextInt(100)).toListdef isDivisibleBy3(n: Int) = { val isDivisible = n % 3 == 0 println(s"$n $isDivisible") isDiv转载 2020-09-25 16:07:03 · 502 阅读 · 0 评论 -
[转]Scala访问权限修饰符:private和private[this]
作为参考和对比,首先从Java开始。在Java中,方法可以访问该类的所有对象的私有字段,例如:package gao.java;public class Person { private String name; private int age; // 该字段无getter/setter方法 public Person(String name, int age) { this.name = name; this.age = age;转载 2020-06-15 18:54:34 · 602 阅读 · 0 评论 -
maven-resources-plugin和maven-assembly-plugin插件使用介绍
利用maven-resources-plugin和maven-assembly-plugin插件能够按照bin、conf、lib文件进行打包首先通过Maven插件实现按照不同环境,生成配置文件 为了应对环境切换,在配置文件conf.yaml中使用Maven属性,在项目打包过程制定是按照id为dev的profile进行构建,还是以id为test的profile进行构建。其中conf.yaml和...原创 2020-03-24 19:05:57 · 1720 阅读 · 0 评论 -
Scalastyle Scala代码风格检测
记录下Scalastyle规则,方便查询。内容比较多,使用Ctrl + F 输入需要查询的检查器进行搜索查询。目录介绍规则使用示例Maven集成ScalastyleSpark的Scalastyle-config.xml介绍Scalastyle 是专门针对Scala代码开发的轻巧的code style检测工具,类似于Java代码检查工具Checkstyle、Fin...转载 2020-02-26 21:14:39 · 1096 阅读 · 0 评论 -
DataFrame转DataSet 实现存储自定义对象case class
根据介绍Spark数据集:当我们期待Spark 2.0时,我们计划对数据集进行一些激动人心的改进,特别是:...自定义编码器–虽然我们目前可以自动生成多种类型的编码器,但我们希望为自定义对象打开一个API。并尝试在Dataset导致以下错误的情况下存储自定义类型:找不到用于存储在数据集中的类型的编码器。导入sqlContext.implicits。支持基本类型(Int,String等...翻译 2020-01-16 10:09:03 · 1292 阅读 · 0 评论 -
用户登录风险评估(一)输入向量评估的Scala实现
1.定义一个风险评估接口 从不同维度实现风险评估 包括输入向量风险评估,登录IP地址风险评估,密码输入匹配度风险评估,登录设备风险评估。本章实现输入向量风险评估,什么输入向量?可以理解为用户的输入账号密码验证码等的一组时间集合,在评估模型中会转为向量进行分析计算。怎么获取用户的输入账号密码验证码的时间?这个可以用自定义的Js插件实现,具体操作参考我的博客。2.RiskEvaluate.sca...原创 2019-07-18 21:41:13 · 397 阅读 · 0 评论 -
深入浅出Java和Scala中类类型及泛型系统
对于Scala来说 Scala类型相关的概念要比Java中要复杂。Scala中的类型信息相对复杂,在java中运行时对范型的处理不太友好,会把泛型擦除,Scala的泛型系统就设计的较为巧妙~而且对类类型的管理这方面还是比较好的。下面就结合scala和java中类及泛型相关的问题进行梳理。Class类类型/Class类对象这里先捋清楚一些概念 别绕晕了~比如我们定义了一个类 A ,...原创 2019-09-30 18:06:56 · 503 阅读 · 0 评论