hadoop
多懂一些
尽可能的让自己多懂一些,你才能看懂事物的本质!
展开
-
hadoop生态系统的详细介绍
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。下图为hadoop的生态系统:2、HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是GFS转载 2017-03-01 15:12:54 · 755 阅读 · 0 评论 -
hadoop hdfs常用命令
hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/su转载 2017-03-01 15:37:49 · 254 阅读 · 0 评论 -
MapReduce工作机制
MapReduce任务执行总流程以下图5 是MapReduce作业详细的执行流程图。 图 5 MapReduce 作业执行流程图1.在客户端(Client)编写MapReduce代码,配置作业,启动作业。这里需要注意的一点是:一个MapReduce作业在提交到Hadoop上之后,会转载 2017-03-13 16:33:25 · 536 阅读 · 0 评论