Hadoop体验

最新推荐文章于 2024-08-30 08:38:03 发布

武器大师72

最新推荐文章于 2024-08-30 08:38:03 发布

阅读量162

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qq_18454025/article/details/88900792

版权

Hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

前言

本学期开了云计算概论这门课，前段时间简单学习了MPI的并行计算的一些东西，现在了解一下Hadoop，当然课堂上讲的东西是非常有限的，今天终于装好了为分布式的Hadoop，而且跑了最简单的例子。

三驾马车

说起Hadoop，不得不说谷歌。Google是大数据时代的奠基者，早在零几年，谷歌发表了著名的三篇论文。这包括Mapreduce编程模型、文件系统GFS以及列式存储BigTable，谷歌虽然没有开源，但是在论文中介绍了相关技术。所以Apache开源的Hadoop和Hbase，其中Hadoop的Mapreduce和HDFS的思想来源于谷歌mapreduce和GFS论文，而hbase来源于谷歌的Bigtable论文。
我们采用廉价的商用计算机集群构建分布式文件系统，容错性是一个重要的指标。HDFS提供高容错性。

Hadoop安装测试

网上有很多安装教程，在这里总结一下吧

配置ssh免密登陆
下载jdk&hadoop
安装jdk，解压jdk压缩包，将jdk目录添加到PATH
安装Hadoop，解压Hadoop，修改XML配置文件
将Hadoop下的指定文件添加到CLASSPATH
启动hadoop测试。
关于编程，IntelliJ在业界被公认为最好的java开发工具之一。可以新建maven工程进行编程，非常方便。

下面是一在hdfs写文件的一个例子,至此，我又多会了另一种形式的HelloWorld。

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class Write{
  public static void main (String[] args) throws IOException
  {
    Configuration conf=new Configuration();
    Path inFile=new Path("/user/qile/input/file3.txt");
    FileSystem hdfs=FileSystem.get(conf);
    FSDataOutputStream os=hdfs.create(inFile);
    os.writeUTF("Hello world!\n");
    os.flush();
    os.close();
  }
}