![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
多懂一些
尽可能的让自己多懂一些,你才能看懂事物的本质!
展开
-
hadoop生态系统的详细介绍
1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS转载 2017-03-01 15:12:54 · 745 阅读 · 0 评论 -
hadoop hdfs常用命令
hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/su转载 2017-03-01 15:37:49 · 246 阅读 · 0 评论 -
MapReduce工作机制
MapReduce任务执行总流程 以下图5 是MapReduce作业详细的执行流程图。 图 5 MapReduce 作业执行流程图 1.在客户端(Client)编写MapReduce代码,配置作业,启动作业。 这里需要注意的一点是:一个MapReduce作业在提交到Hadoop上之后,会转载 2017-03-13 16:33:25 · 525 阅读 · 0 评论