hadoop技术
文章平均质量分 68
hadoop技术学习笔记。
sanfendi
这个作者很懒,什么都没留下…
展开
-
Hadoop-2.2.0中文文档——MapReduce 下一代 —配置一个单节点集群
Mapreduce 包你需从发布页面获得MapReduce tar包。若不能,你要将源码打成tar包。$ mvn clean install -DskipTests$ cd hadoop-mapreduce-project$ mvn clean install assembly:assembly -Pnative注意:你需要安装有protoc 2.5.0。忽略本地建立map翻译 2014-04-21 18:51:48 · 2870 阅读 · 0 评论 -
Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览
xuexiApache Hadoop 2.2.0 Apache Hadoop 2.2.0 比起之前的稳定发行版(hadoop-1.x),有一些明显的改进。这是对HDFS和MapReduce的改进的简短概览。HDFS Federation(联合) 为了能对name service进行水平的扩展,federation使用了多个独立的Name翻译 2014-04-20 11:39:03 · 2178 阅读 · 0 评论 -
HDFS——如何列出目录下的所有文件
可以用bin/hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。也可以采用HDFS的API来读取。如下:import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop原创 2014-04-18 10:03:25 · 10325 阅读 · 0 评论 -
HDFS——如何获取文件的属性信息
可以用bin/hadoop fs -ls 来读取HDFS上的文件属性信息。也可以采用HDFS的API来读取。如下:import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.P原创 2014-04-18 09:46:08 · 4149 阅读 · 0 评论 -
HDFS——如何从HDFS上读取文件内容
用这个命令bin/hadoop fs -cat 可以将HDFS上的文件内容读取到控制台。也可以采用HDFS的API来读取。如下:import java.net.URI;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSy原创 2014-04-18 09:26:14 · 3861 阅读 · 0 评论 -
HDFS——如何将文件从HDFS上删除
用命令行bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹)用HDFS的API也是可以的。如下:import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.原创 2014-04-18 09:11:48 · 7307 阅读 · 0 评论 -
HDFS——如何将文件从HDFS复制到本地
下面两个命令是把文件从HDFS上下载到本地的命令。get使用方法:hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。示例:hadoop fs -get /user/hadoop/file localfilehado原创 2014-04-18 08:36:49 · 32131 阅读 · 0 评论 -
HDFS——如何将文件复制到HDFS
在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs包中。基本的文件操作有open、read、write和close。实际上,Hadoop的文件API是通用的,可用于HDFS以外的文件系统。Hadoop文件API的起点是FileSystem类,这是一个与文件系统交互的抽象类,存在不同的具体实现子类来处理HDFS和本地文件系统,可以通过调用factory方法FileSy原创 2014-04-18 08:33:22 · 3909 阅读 · 0 评论 -
如何在百度云平台上执行Hadoop MapReduce程序
发现百度云平台,可以在线执行hadoop MapReduce程序,很欣喜,摸索了一下,可以使用。大概想这才叫做云计算啊,我把计算任务给你,你把计算结果还给我。首先要有百度账号。从平台入口进入:http://openresearch.baidu.com/activity/platform.jspx。会看到如下的界面,其实就是把linux系统的控制台搬到了浏览器上。可用的命令这原创 2014-04-15 10:02:38 · 4322 阅读 · 0 评论 -
Hadoop读书笔记——基础知识二
Hadoop数据类型 为了让键/值对可以在集群上移动,MapReduce框架提供了一种序列化键/值对的方法。因此,只有那些支持这种序列化的类能够在框架中充当键/值。 实现Writable接口的类可以是值; 实现WritableComparable接口的类可以是键/值。键/值对经常使用的数据类型列表。这些类均用于实现WritableComparable接口。原创 2014-04-14 13:49:12 · 1893 阅读 · 0 评论 -
Hadoop读书笔记——基础知识
Hadoop in Action读书笔记。Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。专为离线处理和大规模数据分析而设计,避免耗时的数据传输问题,适合一次写入,多次读取。特性:方便、健壮、可扩展、简单。MapReduce分为两个阶段:mapping 和 reducing每阶段定义一个数据处理函数,称为mapper和reducer在mappin原创 2014-04-13 20:34:23 · 2026 阅读 · 0 评论