Hadoop
文章平均质量分 75
Crazy-Jobs
将来不迎,当下不杂,既时不恋,专注行动,拥抱变化。。。
展开
-
hadoop实现倒排索引
倒排索引是文档检索系统中最常用的数据结构,被广泛用于全文搜索引擎,它主要使用来存储某个单词(或词组)在一个文档或一组文档中的存储位置的映射,即提供了一种根据内容来查找文档的方式。 以前不使用hadoop时,实现倒排索引真是费劲啊,尤其是当处理大量文本时,更是让人头疼啊。自从有了hadoop爸爸妈妈再也不用担心我们处理大数据了,呵呵,废话就说到这,下面实现简单的倒排索引:原创 2015-05-27 21:07:14 · 1062 阅读 · 1 评论 -
编译hadoop-eclipse-plugin2x插件及eclipse配置hadoop
编译一个小小的插件对于出学者来说,可能会出现很多问题,为了大家可以顺利使用eclipse操作hadoop,请看如下编译过程说明:我的系统是ubuntu14.04hadoop版本是hadoop-2.6.0插件名称:hadoop2x-eclipse-plugin插件地址: https://github.com/winghc/hadoop2x-eclipse-plug原创 2015-05-27 20:56:19 · 2398 阅读 · 0 评论 -
ubuntu14.04下安装eclipse详解
1、安装配置JDK,这里就不说了2.从官网http://www.eclipse.org/downloads/下载Eclipse IDE for Java EE Developers的Linux版本,如我下载的是eclipse-java-luna-SR2-linux-gtk.tar.gz3.解压:这里是解压到HOME下,所以移动下目录,步骤如下 $tar zxvf eclipse-java-luna原创 2015-05-27 18:40:09 · 514 阅读 · 0 评论 -
hadoop-2.6.0与sqoop-1.99.6的安裝配置
这sqoop的版本变化挺大的啊,本想在hadoop-2.6.0上安装sqoop-1.4.x版本,没想到不兼容,整了半天身心俱疲啊(有点夸张啊),废话不多说了,下面就来看看具体的安装步骤。1.下载sqoop-1.99.6,这个版本最新,可以与hadoop2.x.x兼容的更好2.现在以后解压到相应的目录tar zxvf sqoop-1.99.6-bin-hadoop20原创 2015-06-18 13:05:33 · 2344 阅读 · 1 评论