2017年03月_橘子oly

03月 02月 01月

原创 Hadoop之Text与String的异同

String 常量，创建之后不可修改字符串连接是通过StringBuilder(或StringBuffer)类实现的【区别：StringBuilder是非线程安全的，这也使其性能比StringBuffer要高(少synchroned方法)】 String： UTF-16格式 Unicode 为解决传统字符编码方案的局限而产生 Unicode方案包括：给所有字符指定一个唯一对应的数字将字符

2017-03-04 20:47:14 1478

原创 Hadoop实战之课后题--分析web服务器的日志文件

任务统计每个IP地址的访问次数查找访问数最多的前K个IP地址分析：任务1很简单，简单的求和问题，用来重新熟悉hadoop MR程序的写法。优化：使用combiner()减少网络中的流量传输；这个例子中combiner和reducer的逻辑相同，两种使用同一个reduce即可。代码贴在附录里了，注释详细，可查看~ 任务2是一个TopK的问题，要点有以下几个：使用TreeMap来得到

2017-03-03 16:34:09 856

转载 Linux下打包运行MR程序

转载自使用命令行编译打包运行MR程序网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的，大多又是 0.20 等旧版本版本的做法，即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java

2017-03-03 10:38:23 1268

转载 JAVA学习路线图

转载自byrbss JAVA学习路线图以下是原文： Java是一个通用的编程语言，其实可以干很多事，怎么学Java就看怎么用了。但有一些一般的步骤： 1. 熟悉一种文本编辑器，比如Vim, Emacs, Notepad++, TextMate等。知道哪些是开源的，哪些是闭源的，哪些要收费。养成不用盗版软件的习惯。 2. 安装JDK（建议用你的Linux发行版

2017-03-03 09:12:31 633