技术
bai071006201
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式文件系统:架构和设计
Hadoop分布式文件系统:架构和设计 为了容错,文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。通过一个机架感知的过程,Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失,原创 2012-07-03 17:28:53 · 340 阅读 · 0 评论 -
ubuntu下配置jdk,ssh,hadoop
安装jdk1.下载jdk 2 更改文件权限 chmod 701 jdk-6u14-linux-i586.bin3 sudo ./jdk-6u14-linux-i586.bin配置环境变量1、打开/etc/profile:vi /etc/profile在文件的最后一行添加:JAVA_HOME=/home/bb/jdk1.6.0_31export JRE_HOME=/home/bb原创 2012-07-01 21:34:09 · 411 阅读 · 0 评论 -
eclipse配置hadoop 启动hadoop
eclipse配置hadoop1在eclipse中安装hadoop插件,将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse。2Eclipse中打开Window-->Preferens,发现Hadoop Map/Reduce选项,在这个选项里配置Hadoop installation directory。 3在Wi原创 2012-07-03 15:18:27 · 747 阅读 · 0 评论 -
hadoop文件系统分析
Hadoop分布式文件系统:架构和设计 为了容错,文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。通过一个机架感知的过程,Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失,原创 2012-07-03 17:30:02 · 477 阅读 · 0 评论 -
使用java api操作Hadoop文件
. 概述 hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中,这些api能够支持的操作包含:打开文件,读写文件,删除文件等。hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个:static FileSystem get(Config转载 2012-07-06 14:51:12 · 283 阅读 · 0 评论 -
hadoop 文件操作 接口调用
文件操作实例点击打开链接点击打开链接点击打开链接点击打开链接转载 2012-07-25 14:44:21 · 316 阅读 · 0 评论 -
Hadoop API 使用介绍
API使用介绍 百度文库转载 2012-08-02 11:30:56 · 257 阅读 · 0 评论 -
WordCount 实例分析
WordCount运行详解(2)Hadoop WordCount解读对hadoop第一个小程序WordCount的简单解释.转载 2012-08-02 11:23:58 · 383 阅读 · 0 评论 -
mahout在hadoop下安装与测试过程
1.下载mahout-0.5 网址:http://mirror.bjtu.edu.cn/apache/mahout/0.5/2.将压缩文件解压到/home/hadoop/tools/3.在/etc/profile和~/.bashrc中添加: export HADOOP_HOME=/home/hadoop/hadoop-1.0.1 export HADOOP_CONF_DIR=/home/h原创 2012-08-27 16:19:23 · 927 阅读 · 0 评论