hadoop
pf1234321
这个作者很懒,什么都没留下…
展开
-
Hadoop示例程序之单词统计MapReduce
在eclipse下新建一个map/reduce Project 1,新建文件MyMap.java import java.io.IOException; import java.util.StringTokenizer; import org.apache.Hadoop.io.IntWritable; import org.apache.hadoop.io原创 2013-04-07 19:53:32 · 577 阅读 · 0 评论 -
Hadoop 键值对的MapReduce过程剖析
http://www.linuxidc.com/Linux/2012-10/72759.htm转载 2013-04-07 20:01:13 · 704 阅读 · 0 评论 -
HDFS中的从元数据节点
http://www.linuxidc.com/Linux/2012-05/60703.htm转载 2013-04-07 20:34:16 · 772 阅读 · 0 评论 -
hadoop安装配置之ssh无密码登陆
os:redhat 6hadoop 两个节点,一个master 一个slave192.168.0.1 master192.168.0.2. slave1.修改每台机器的/etc/hosts,增加192.168.0.1 master192.168.0.2. slave2.在每台机器上创建用户hadoopuseradd hadooppasswd hadoop给h转载 2013-03-24 23:32:33 · 660 阅读 · 0 评论 -
查找某个文件在HDFS集群的位置
通过"FileSystem.getFileBlockLocation(FileStatus file,long start,long len)"可查找指定文件在HDFS集群上的位置,其中file为文件的完整路径,start和len来标识查找文件的路径。具体实现如下:packagecom.hebut.file;importorg.apache.hadoop.conf.转载 2013-04-09 00:13:15 · 888 阅读 · 0 评论 -
获取HDFS集群上所有节点名称信息
通过"DatanodeInfo.getHostName()"可获取HDFS集群上的所有节点名称。具体实现如下:packagecom.hebut.file;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.h原创 2013-04-09 00:14:02 · 3078 阅读 · 0 评论 -
Hadoop DEMO搭建集群
http://www.linuxidc.com/Linux/2013-01/77772.htm翻译 2013-04-09 00:41:07 · 566 阅读 · 0 评论 -
基于Eclipse的Hadoop应用开发环境配置
我的开发环境:操作系统centos5.5 一个namenode 两个datanodeHadoop版本:hadoop-0.20.203.0Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃,让人郁闷)第一步:先启动hadoop守护进程具体参看:http://www.cnblogs.com/flyoung2转载 2013-04-10 20:36:39 · 484 阅读 · 0 评论 -
Hadoop群集中添加节点步骤
http://www.linuxidc.com/Linux/2012-11/75057.htm转载 2013-04-07 20:43:40 · 545 阅读 · 0 评论 -
Hadoop异步RPC通信机制
Hadoop的IPC是实现rpc的一种方法,不基于java的序列化机制。IPC中方法的调用参数和返回值只能是: 1、java基本类型 2、String和Writeable接口的实现类 3、以1、2元素为类型的数组 4、接口只允许抛出IOException 采用的是C/S模型(Client-NameNode,Client-DataNode,NameNode-D转载 2013-04-07 20:12:24 · 650 阅读 · 0 评论 -
Hadoop安全模式的理解
安全模式异常:在hadoop的实践过程中,系统启动的时候去修改和删除文件有时候会报以下错误:org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解:“Name nodeis in safe mode.”hadoop的namenod原创 2013-04-04 22:08:06 · 652 阅读 · 0 评论 -
java.io.FileNotFoundException: /exapp/hadoop/name/current/VERSION (Permission denied)
启动hadoo集群时 namenode没启动。查看日志,报错如下:java.io.FileNotFoundException: /exapp/hadoop/name/current/VERSION (Permission denied) at java.io.RandomAccessFile.open(Native Method) at java.io.RandomAc转载 2013-04-04 22:12:18 · 1194 阅读 · 0 评论 -
hadoop FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目转载 2013-04-05 23:03:54 · 599 阅读 · 0 评论 -
hadoop 查看文件的常用命令
hadoop查看文件目录命令bin/hadoop dfs -lshadoop查看文件命令bin/hadoop dfs -lsr将linux上的文件复制到hdfs集群中bin/hadoop dfs -put .../abc abc其中.../abc 是你复制linux系统中的源文件在哪里abc 要拷贝到hadoop中变成什么文件或者在哪个路径下面将had原创 2013-04-05 23:14:02 · 9982 阅读 · 0 评论 -
HDFS中的从元数据节点
在HDFS中,NameNode用来管理文件系统的命名空间,其将所有的文件和文件夹的元数据保存在一个文件系统树中,这些信息会在硬盘上保存为fsimage(命名空间镜像)和edits(修改日志)文件;其还保存了文件包含哪些数据块,分布在哪些数据节点上,但这些数据并不保存在硬盘上,而是在系统启动的时候从数据节点收集而来的。DataNode是文件系统中真正存储数据的地方,其周期性的向元数据节点回报期存储的翻译 2013-04-07 19:05:24 · 1651 阅读 · 0 评论 -
将本地文件上传至HDFS
将本地文件上传至HDFS [日期:2012-11-15]来源:Linux社区 作者:likehua[字体:大 中 小] //将本地文件上传到hdfs。 String target="hdfs://localhost:9000/user/Administrator/geoway_portal/tes2.dmp"; FileInputStream f转载 2013-04-07 14:20:38 · 1554 阅读 · 0 评论 -
_MapReduce初级案例
http://www.linuxidc.com/Linux/2012-12/76705p2.htm转载 2013-04-07 19:15:30 · 556 阅读 · 0 评论 -
HBase安装部署过程
安装HBASE先决条件 SHH安装,并且有公用ssh无密码跳转账号:admin(机器默认会安装SSH) 在namenode和各个slave上用机器名互相ping,ping不通的话,无法进行 JAVA环境安装(JDK1.6即可兼容HBASE-0.90.3版本) Hadoop环境安装(HADOOP版本为0.20.2完全兼容HBASE-0.90.3版本) 安装路径转载 2013-04-07 20:19:51 · 682 阅读 · 0 评论