博客专栏  >  云计算/大数据   >  hadoop技术

hadoop技术

hadoop技术学习笔记。

关注
2 已关注
11篇博文
  • Hadoop-2.2.0中文文档——MapReduce 下一代 —配置一个单节点集群

    Mapreduce 包 你需从发布页面获得MapReduce tar包。若不能,你要将源码打成tar包。 $ mvn clean install -DskipTests $ cd hadoop-m...

    2014-04-21 18:51
    2260
  • Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

    xuexi Apache Hadoop 2.2.0  Apache Hadoop 2.2.0 比起之前的稳定发行版(hadoop-1.x),有一些明显的改进。 这是对HDFS和Map...

    2014-04-20 11:39
    1784
  • HDFS——如何列出目录下的所有文件

    可以用bin/hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。 也可以采用HDFS的API来读取。如下:import java.net.URI; import or...

    2014-04-18 10:03
    2299
  • HDFS——如何获取文件的属性信息

    可以用bin/hadoop fs -ls 来读取HDFS上的文件属性信息。 也可以采用HDFS的API来读取。如下: import java.net.URI; import org.apa...

    2014-04-18 09:46
    1367
  • HDFS——如何从HDFS上读取文件内容

    用这个命令bin/hadoop fs -cat 可以将HDFS上的文件内容读取到控制台。 也可以采用HDFS的API来读取。如下: import java.net.URI; import ...

    2014-04-18 09:26
    1491
  • HDFS——如何将文件从HDFS上删除

    用命令行bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹) 用HDFS的API也是可以的。如下: import java.net.URI; import org.ap...

    2014-04-18 09:11
    1924
  • HDFS——如何将文件从HDFS复制到本地

    下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法:hadoop fs -get [-ignorecrc] [-crc]   复制文件到本地文件系统。可用-i...

    2014-04-18 08:36
    7550
  • HDFS——如何将文件复制到HDFS

    在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs包中。基本的文件操作有open、read、write和close。实际上,Hadoop的文件API是通用的,可用于HDFS...

    2014-04-18 08:33
    1957
  • 如何在百度云平台上执行Hadoop MapReduce程序

    发现百度云平台,可以在线执行hadoop MapReduce程序,很欣喜,摸索了一下,可以使用。大概想这才叫做云计算啊,我把计算任务给你,你把计算结果还给我。 首先要有百度账号。 从平台入口进入:...

    2014-04-15 10:02
    3600
  • Hadoop读书笔记——基础知识二

    Hadoop数据类型     为了让键/值对可以在集群上移动,MapReduce框架提供了一种序列化键/值对的方法。因此,只有那些支持这种序列化的类能够在框架中充当键/值。  实现Writable...

    2014-04-14 13:49
    1402
  • Hadoop读书笔记——基础知识

    Hadoop in Action读书笔记。 Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。专为离线处理和大规模数据分析而设计,避免耗时的数据传输问题,适合一次写入,多次读取。 ...

    2014-04-13 20:34
    1527
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部