liuwei063608的专栏

转载 如何只依靠Scala的语言特性实现高逼格的依赖注入

如何只依靠Scala的语言特性实现高逼格的依赖注入 什么是依赖注入？ 对象是面向对象世界中的节本组成单元，依赖注入将对象组合在一起。以最简单的方式看，依赖注入所做的事情就是通过构造器或setter方法将依赖注入到对象。 如果使用适当的容器，我们还可以将系统每个组件的依赖都抽取到配置文件或配置代码中，并在需要的时候由容器完成注入，这就是高逼格的依赖注入。 依赖注入的好处其实...

转载 性能调优

目 录12 性能调优12.1 配置原则12.2 Manager12.2.1 提升Manager配置服务参数的效率12.2.2 根据集群节点数优化Manager配置12.3 HBase12.3.1 提升BulkLoad效率12.3.2 提升连续put场景性能12.3.3 Put和Scan性能综合调优12.3.4 提升实时

原创 spark2.3.0 的agg 方法现在限制数量

spark2.3.0 的agg 方法现在限制数量，30个可以，60个不可以，记录一下 以后agg超过30个之后需要分次处理 原代码 scala val intervalCollectArr = df.agg(cols.toArray.head, cols.toArray.tail: _*).collect().apply(0) 修改为scala ...

原创 自定义sbt仓库位置并打包给指定路径下的maven仓库

自定义sbt仓库位置并打包给指定路径下的maven仓库1. 修改sbt仓库直接修改sbt安装路径下的conf/sbtopts似乎不行需要修改bin/sbt-launch.jar 用winRAR打开sbt-launch.jar，修改sbt/sbt.boot.properties,修改ivy-home:为 F:\sbt_repository ivy-home: F:...

原创 常用的数据结构的时间复杂度及实现原理