2014年03月_long1657

10月 09月 05月 04月 03月

原创在64位操作系统中重编译hadoop 2.2.0

在64位操作系统中重编译hadoop 2.2.0最近为了做一些测试，在CentOS6.5中部署Hadoop 2.2.0。从官方网站下载hadoop-2.2.0.tar.gz的安装包，部署安装后发现不能运行提示： WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using

2014-03-27 19:49:05 4660

原创 Hadoop 2.2.0的新特性

Apache Hadoop-2.2.0与之前的hadoop-1.x相比出现了一些新的特性，具体如下：一．资源统一管理系统YARNYARN 是”Yet Another Resource Negotiator”的简称。由于MRv1存在扩展性，资源利用率，可靠性和只能单一框架作业的问题，apache对MRv1进行改造，把JobTracker中的资源管理功能抽象成了一个独立的系统，由原来HDF

2014-03-27 17:59:51 1233

原创如何使编写的java程序在hadoop 2.2中运行的完整过程

如何使编写的java程序在hadoop 2.2中运行的完整过程（在不使用eclipse情况）在不使用eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译，生成jar包，运行测试。这三个步骤运用的命令都比较简单，主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:HADOOP_HOME/

2014-03-26 19:02:43 3192 2

转载 Hadoop发行版的比较与选择

Hadoop的发行版除了社区的Apache Hadoop外，Cloudera，Hortonworks，MapR，EMC，IBM，Intel，华为等都提供了自己的商业版本。商业版主要是提供了专业的技术支持，这对一些大型企业尤其重要。每个发行版都有自己的一些特点，本文就各个发行版做简单介绍。 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoo

2014-03-17 16:40:24 1115

基于hadoop搜索引擎离线处理程序

本项目是基于hadoop搜索引擎的离线处理程序，主要包含三部分 1.网页信息过滤 2.生成倒排索引文件 3.生成二级索引文件;

2014-10-20

基于hadoop搜索引擎在线处理

这是一个简单的web与hadoop2.2.0连接的项目，里面包含了hadoop的配置文件，和相应的hadoop jar包（精简后的包）项目实现基于hadoop的搜索引擎的在线处理部分。

2014-10-20

Java通过api 操作hbase 0.98

在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，插入数据，删除数据，查询一条数据，查询所有数据等操作。具体流程如下： 1.创建项目 2.获取jar包到项目的lib目录下（这边试用的事hbase 0.98 lib目录下的所有jar包） 3.编写java程序 4.编写ant脚本

2014-04-08

java通过api方式操作Hadoop

该资源是java通过api的方式来操作hadoop，主要有以下操作：一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件，并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息

2013-09-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 在64位操作系统中重编译hadoop 2.2.0