工具
晗时
现就读于清华大学软件学院大数据方向硕士
毕业于南京大学软件学院
展开
-
Spark性能优化实操经验
Spark调优经验编程部分环境创建IDE中可以通过如下方式创建Spark的上下文,其中master指定了上下文环境,一版在开发或是测试时,指定为local或者local[*]即可,这两种方法都是以本地运行Spark程序,前者代表单线程运行,后者代表多线程运行,如果想要指定具体的线程数量,可以指定为local[4],如果不进行指定,则默认等于机器核数(比如8核CPU那就是8线程)。在本地运行较大文件时,尽可能不使用local[*],而是使用显式地指定核数,因为如果将所有线程都用于worker计算,可能原创 2020-05-25 22:17:16 · 395 阅读 · 0 评论 -
Maven项目同时包含Spark和Springboot时导致Log4j与Logback依赖冲突问题解决
当maven项目同时包含Spark和Springboot时,直接运行@SpringBootApplication类会报错,报错信息类似于Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing imple原创 2020-05-19 19:52:29 · 2048 阅读 · 0 评论 -
Windows 10通过Hexo在Github快速搭建个人博客
网上关于很多如何搭建个人博客的教程很多,但实际操作起来总是碰到了形形色色的问题,因此大叔就借以个人第一次搭建博客的经历写此教程,希望可以帮助到更多想要展现自己、追求技术的小白们。原创 2016-08-31 22:08:57 · 376 阅读 · 0 评论 -
Freeline体验
简介对于Android开发者来说,当Android项目开发到一定规模的时候,每次对项目进行修改之后的重新编译都仿佛是一场噩梦,其编译并重新部署的速度简直令人发指(虽然博主尚且没有开发过大型Android项目所以也没有这样的惨痛的经历,但就个人开发体验来说,每次修改代码后等待重新编译、部署、运行这一过程也是非常糟糕的体验)。而Freeline便是针对这一问题的福音。原创 2017-06-11 18:41:57 · 323 阅读 · 1 评论 -
Android权限源码及流程解析
简介在Android应用开发过程中,经常会向用户申请获得手机的一些权限,以提升应用的交互友好性(如通讯录权限),有时候这些权限甚至是必不可少的(如连接网络等)。本篇博客就将对Android应用开发中的权限管理进行一定的探究与分析。原创 2017-06-08 21:26:18 · 1231 阅读 · 0 评论