- 博客(8)
- 收藏
- 关注
RSS订阅原创 （转）Coding小技巧-在Eclipse里简化静态引入
在eclipse里，有个黄金快捷键组合 ctrl + shift + O，大家应该不陌生吧！当你敲完类名后触发它，它会帮你自动完成import，很实用的一个快捷键。 在JDK1.5发布后，java里引入了一个新的语法，static import。该语法的本意是，简化静态属性在调用时的代码量，提高可读性。 但在eclipse里，如果你不提供类名，直接敲你想要的静态成员名或方法名，eclip...
2012-03-22 16:17:59
124
原创 一台服务器启动两个tomcat需要的端口设置
在conf/server.xml对下面三个端口做出变更，两个tomcat下面三个端口要不同才行。 8080 HTTP端口 8005 Shutdown端口 8009 修改JVM启动端口 --end ...
2012-03-21 11:30:05
158
原创 （转&修订）多线程下安全使用SimpleDateFormat
在多线程先使用静态SimpleDateFormat是不安全的，如果每次都new又太消耗资源，下面的办法不错，值得学习。 private static final String DATE_FORMAT ="yyyyMMddHHmmss"; protected static ThreadLocal<SimpleDateFormat> threadL...
2012-03-19 23:17:41
75
原创 自定义hadoop Writable类型注意事项
1. 实现一个无参构造函数 2. 如果自定义Writable包含hadoop序列化类型（如，Text），则要求初始化它（new Text()）。可以在定义的时候初始化，或者在空构造函数进行初始化，否则会在反序列化的时候报空指针异常 ...
2012-03-14 17:14:44
221
原创 多线程Singleton模式笔记
单线程下安全使用的Singleton示例 public class Singleton { private static Singleton instance = null; private Singleton() { System.out.println("create instance."); } public static Singleton get...
2012-03-08 21:10:44
98
原创 使用cloudera MRUnit测试你的Mapreduce代码
向大家强烈推荐cloudera的mrunit非常好用，简直可以说太棒了，我的一个略微复杂的MR job每次测试都不够敏捷，有时候使用mock，有时候部署到线上，调试耗时非常巨大，最近开始使用mrunit，有了它，每次只要跑起测试，一起尽在掌控，尽情重构。它可以测试你的Mapper、Reducer以及mapreduce整个运行过程。贴个淘宝QA团队的文章链接写的不错： 《Had...
2012-03-08 17:06:14
108
原创 远程Hadoop调试——mapreduce函数调试篇
上一次记录了如何调试NN，JT，DT，JT，这次记录为调试mapreduce函数，和前几个应用不同，mapreduce为Child进程，不能直接通过bin/hadoop文件中开启远程调试端口，具体操作如下： 1. 选定一台调试机器，修改mapred-site.xml文件，添加如下配置： <property> <name>mapred.child...
2012-03-04 18:18:10
256
原创 读取jar内资源文件
因为项目需要将配置文件打包到jar包，然后再MR job中读取资源。 我以读取"hadoop-core-0.20.2-cdh3u2.jar"中core-default.xml配置文件举例，代码如下： public static void main(String[] args) throws InterruptedException, FileNotFoundExc...
2012-03-03 19:42:37
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人