- 博客(14)
- 收藏
- 关注
RSS订阅原创 Java YYYY 和 yyyy 踩坑
年底了，做了不少对账和数据统计的业务，用到了不少date format的函数，也踩了一些坑在使用String formatDate = DateUtils.format("2020-12-28", "YYYYMMdd") 时，发现返回了20211228，导致了有一些计算出现了异常，在查了DateFormatPattern 官方解释后发现：YYYY 表示 week based year，表示当天所周所在的年份，每周以周日开始，周六结束yyyy 表示 day based year...
2021-01-04 11:46:13
314
原创 notifyAll notify顺序
今天看到一篇问题，提问线程唤醒顺序。具体代码如下： import java.util.LinkedList;import java.util.List;public class ThreadRunSort { /** * 对象锁 */ private final Object object = new Object(); p...
2019-10-08 17:51:17
989
原创 azkaban源码解读
一. web server源代码解析1.配置文件读取过程：主要读取的两个配置文件为： 1）读取下面的2个文件File azkabanPrivatePropsFile = new File(dir, AZKABAN_PRIVATE_PROPERTIES_FILE);//"azkaban.private.properties"File azkabanP
2017-06-19 16:14:34
4832
原创 Azkaban 3.0 分布式安装部署文档
Azkaban 3.0 分布式安装部署文档一．简介Azkaban2.5支持两种运行模式：1.solo server mode：web 和 executor在同一个进程中执行，适用于H2 DB。2.two server mode： web 和 executor在不同的进程中执行（运行在同一服务器上）数据库为mysql。但是以上两种情况都不适用于分布式部署，1个web对应多exec
2017-05-16 15:33:44
6009
原创 为什么jdbc链接时 只要class.forname("com.mysql.jdbc.Driver")即可？
以前都是照本宣科，网上怎么写链接mysql 就抄过来。。今天觉得无聊，自己看了看mysql driver的源码类。具体了解下其工作原理：首先class.forname（String className） 这个方法会调用相应的class进行类初始化，一般在java中如果初始化一个类，我们需要对这个类进行实例化，也就是new class()方法。反射也提供这一方式：class.forCla
2017-03-13 16:36:10
3278
原创 Oozie 大致概览
Oozie调研在作业设计器中，实用哪种作业工作流的引擎是最主要的，现在对Oozie进行调研。一．Oozie介绍Oozie是一种工作流引擎，用于运行MR，Spark Job（有待测试），Pig等任务工作流。它是以Web呈现给用户，运行在Tomcat中。工作流以多个Action作为组成部分，Action以有向无环图DAG的模式部署运行，工作流通过HDPL（一种类似于XML的自定义处理语
2016-08-07 15:38:26
1620
原创 Azkaban调研
Azkaban调研在作业设计器中，实用哪种作业工作流的引擎是最主要的，现在对Azkaban和Oozie进行调研。一．Azkaban介绍Azkaban是一个类似于Oozie的任务调度系统，它以flow为执行单位进行调度，flow为预定义好的一个或者多个有依赖关系的Job工作流。同时它兼容所有的Hadoop版本，使用Web界面追踪每个任务的执行情况并且提供了邮件的支持。Azkaban主
2016-08-07 15:36:36
3516
原创 spark源代码阅读用idea出现的问题
最近想用idea研读下spark的源代码，毕竟是研究这个，看看代码装装逼也不错。。在网上都有很多用idea导入spark源码的教程，中间可能后出现找不到sparkflumeprotocol等等的问题这个主要的原因是因为idea的sbt插件的不完整。在编译的过程中可能会被防火墙给咔掉。。我猜的。。在windows下看源码就在spark目录下使用sbt gen-idea的命令编译，时间超级
2014-11-27 23:34:45
700
原创 简单的协同过滤推荐-spark
最近才开始接触spark的相关内容，根据老师的需要做一个关于spark streaming的协同过滤推荐。中间也遇到很多问题，也很困扰，希望有大牛能给予指导~一.Userbased Recommdation--spark streaming基于用户的协同过滤推荐 本次试验是使用spark streaming操作基于用户信息的去做的推荐。试验数据1.training.txt
2014-11-26 15:35:52
1044
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人