2014年04月_Garry1115

12月 08月 07月 06月 04月 03月 02月

转载 Apache Tika:通用的内容分析工具

项目介绍Tika是一个内容分析工具，自带全面的parser工具类，能解析基本所有常见格式的文件，得到文件的metadata，content等内容，返回格式化信息。总的来说可以作为一个通用的解析工具。特别对于搜索引擎的数据抓去和处理步骤有重要意义。Tika是一个目的明确，使用简单的apache的开源项目。下图是Tika诞生的一个历史过程。Tika项目之初来源于Nu

2014-04-30 11:52:54 10167

原创 ttribute value is quoted with " which must be escaped when used within the value

今天做项目访问JSP时，报错：Attribute value is quoted with " which must be escaped when used within the value 。相信很多人都遇到过，以下结合本人查资料与亲自实践得到的结论。1）：错误常发生的位置 value="" 2）：错误产生的原因，是因为tomcat版本升级后（6.0以后），对双引

2014-04-29 13:39:10 2337

转载 JAR打包的误区：第三方包的嵌套打包

今天弄明白一个关于JAVA项目中JAR打包的问题。我们有时可能会把自己的项目做成第三方包给别人使用，但是同时我们自己的项目又引用了其他已有的第三方包，在打包的时候，我们经常可能自作聪明地将自己引用的第三方包全部封装在项目根目录下的某个folder下（如lib/），然后将整个项目打成JAR包，最后得意忘形地告诉使用这个包的开发人员：“你只需要在项目中引用这个包就可以了，其他什么都不需要做!”

2014-04-23 15:30:37 6992

转载 PL/SQL Developer如何连接64位的Oracle图解

由于硬件技术的不断更新，Win7系统逐渐成为主流，而且计算机内存逐渐增大，为了充分的利用内存资源（因为32为系统最多只能用到3G左右的内存），提高系统性能，很多人开始使用Win7（64Bit）的系统。在64位系统上安装64位的Oracle数据库，但是没有对应的64位PL/SQL Developer，此时就不能使用PL/SQL Developer来进行直接连接的，所以要想实现连接还得需要其他途径来完

2014-04-17 17:24:48 1016

原创 Mapreduce求TopK最大值

package suanfa;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;im

2014-04-06 20:55:34 3797 2

原创 mapreduce简单的gzip压缩

MapReduce使用简单的gzip格式进行文件的压缩package example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;

2014-04-02 22:05:59 2983

转载 Hadoop在MapReduce中使用压缩详解

Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，Hadoop能够自动为我们将压缩的文件解压，而不用我们去关心。AD：51CTO学院：IT精品课程在线看！Hadoop对于压缩文件的支持如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。

2014-04-02 21:32:41 1850

转载十道海量数据处理面试题与十个方法大总结

海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。有任何问题，欢迎随时交流、指正。出处：http://blog.csdn.net/v_JULY_v。第一部分、十道海量数据处理面试题1、海量日志数据

2014-04-01 22:26:32 3671 1