2014年09月_long1657

10月 09月 05月 04月 03月

原创 win eclipse 执行mapreduce 提示AccessControlException: Permission denied的解决办法

win eclipse 执行mapreduce，提示如下错误：org.apache.hadoop.security.AccessControlException: Permission denied: user=1010, access=WRITE, inode="/1010":root:supergroup:drwxr-xr-x问题原因：没有1010这个用户的权限解决方案：在had

2014-09-30 11:25:04 1347

原创 hadoop中mapreduce的默认设置

默认设置job.setInputFormatClass()的默认设置为TextInputFormat类，该类处理输入（该类只处理文本文件）。TextInputFormat将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成对，key值为对应行在文件中德偏移量，value为行的内容。job.setMapperClass()的默认值为Mapper,

2014-09-24 17:55:50 1546

原创 Hadoop与HBase的一些特殊操作命令

Hadoop与HBase的一些特殊操作命令 1.将hbase数据库中的表导出到hdfs中的命令:Hbase org.apache.hadoop.hbase.mapreduce.Export [ [ []]]2.加载导出的数据回到HBase的命令：Hbase org.apache.hadoop.hbase.mapreduce.Import 注意：导入时表必须存在，导出的

2014-09-24 17:53:59 2348

原创 Hadoop,HBase添加和删除节点

Hadoop添加和删除节点一．添加节点（一）添加节点有两种方式，一种是静态添加，关闭hadoop集群，配置相应配置，重启集群（二）动态添加，在不重启集群的情况下添加节点1．设置DN与NN的SSH无密码登陆2．在hosts添加主机名称，并且把该文件复制到集群中的其他节点上。3．修改Name节点上的slaves文件（主要用于下次重启的时候使用）4．在DN中启动进程:

2014-09-24 17:44:32 5969

基于hadoop搜索引擎离线处理程序

本项目是基于hadoop搜索引擎的离线处理程序，主要包含三部分 1.网页信息过滤 2.生成倒排索引文件 3.生成二级索引文件;

2014-10-20

基于hadoop搜索引擎在线处理

这是一个简单的web与hadoop2.2.0连接的项目，里面包含了hadoop的配置文件，和相应的hadoop jar包（精简后的包）项目实现基于hadoop的搜索引擎的在线处理部分。

2014-10-20

Java通过api 操作hbase 0.98

在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，插入数据，删除数据，查询一条数据，查询所有数据等操作。具体流程如下： 1.创建项目 2.获取jar包到项目的lib目录下（这边试用的事hbase 0.98 lib目录下的所有jar包） 3.编写java程序 4.编写ant脚本

2014-04-08

java通过api方式操作Hadoop

该资源是java通过api的方式来操作hadoop，主要有以下操作：一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件，并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息

2013-09-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人