2017年07月_xiao_jun_0820

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创 cdh5版本中的oozie hive action使用及踩坑集锦

本来的出发点是想做一个能够提交hive ql的web接口，然后我可以在接口层面做很多定制的功能，于是开始找hive restful接口相关的信息，发现Hive有个webhcat服务，可以提交hive ql然后还可以将输出写入到指定的HDFS目录上，而且还有callback功能，在执行完成后给指定URL发送消息。看了一下源代码，原理其实和Oozie差不多，也是启动了一个单mapper任务来管理JOB

2017-07-26 15:23:05 4158 1

原创测试环境为了方便DEBUG排查问题，配置YARN延迟删除本地文件

yarn.nodemanager.delete.debug-delay-sec默认值：0，app执行完之后立即删除本地文件desc:应用程序完成之后 NodeManager 的 DeletionService 删除应用程序的本地化文件和日志目录之前的时间（秒数）。要诊断 YARN 应用程序问题，请将此属性的值设为足够大（例如，设为 600 秒，即 10 分钟）以允许检查这些目录。

2017-07-25 16:20:19 1664

转载常见文件字节码格式

http://www.onicos.com/staff/iz/formats/http://www.onicos.com/staff/iz/formats/gzip.htmlgzip formatByte order: Little-endianOffset Length Contents 0 2 bytes magic header

2017-07-20 17:24:39 1148

转载 Java程序员必备的IntelliJ IDEA插件

Eclipse的慢、卡顿、崩溃常常挑动程序员们的神经和忍耐力。除了更换性能更好的电脑，还有别的选择吗？推荐大家使用另一款java 开发软件：IntelliJ IDEA。它是目前最好最强最智能的java ide，已集成了几乎所有主流的开发工具和框架。常见的IDEA插件主要有如下几类：常用工具支持Java日常开发需要接触到很多常用的工具，为了便于使用，很

2017-07-18 10:45:08 437