Hadoop
Tdwo
life is fantastic!If you have any questions, please leave a message.
展开
-
Hadoop入门 之 Hadoop常识
1.Hadoop是什么?答:Hadoop是开源的分布式存储和分布式计算平台。2.Hadoop的组成是什么?答:Hadoop由HDFS和MapReduce这两个核心部分组成。 HDFS(Hadoop Distribute File System)即Hadoop分布式文件系统,用于存储海量的数据。 MapReduce即并行处理框架,实现任务分离和调度。3....翻译 2018-08-26 23:45:49 · 143 阅读 · 0 评论 -
Hadoop入门 之 Hadoop的安装
1.安装Hadoop的三大步骤答:1.Linux环境,2.JDK环境,3.配置Hadoop。2.安装Linux答:利用阿里云,腾讯云等公有云。选择Ubuntu进行安装,然后利用小putty进行操作。3.安装JDK,设置环境变量答:命令:ls,javac看是否安装有jdk,apk-get install openjdk-7-jdk进行安装。安装完毕之后设置环境变量,vim /et...翻译 2018-08-27 00:38:03 · 223 阅读 · 0 评论 -
Hadoop 之 HDFS基本概念
1.HDFS的基本概念答:块(Block)、NameNode、DataNode。HDFS的文件被分成块进行存储,默认块的大小为64M,所以说块是文件存储和处理的逻辑单元。NameNode是管理节点,存储文件元数据,包括文件与数据块的映射、数据块与数据节点的映射表。DataNode是HDFS的工作节点,用来存放数据块的。2.HDFS体系结构3.HDFS中数据管理和容错4....翻译 2018-08-27 23:22:22 · 1711 阅读 · 0 评论 -
Hadoop 之 HDFS的使用
1.列出hadoop下面的目录,hadoop fs -ls / 进入userhadoop fs ls /user2.再usr/root下新建input目录hadoop -mkdir input3.把本地文件放到上述目录下hadoop fs -put hadoop-simple-file.sh input/4.打印出来看一下hadoop fs -ls /...翻译 2018-08-27 23:36:23 · 147 阅读 · 0 评论 -
Hadoop 之 MapReduce原理
1.什么是MapReduce答:简而言之,就是将一个大任务分成多个小的子任务(Map),并行执行后,合并结果(Reduce)。下面举一个纸牌得栗子 2.MapReduce的运行流程 3.JobTracker角色答:1.作业调度。2.分配任务、监控任务执行进度。3.监控TaskTracker的状态。4.TaskTracker角色答:1.执行任务。2.回报任务状态。...翻译 2018-08-28 00:08:46 · 190 阅读 · 0 评论 -
Hadoop 之 Hadoop2.0
1.Hadoop2.0与1.0答:Hadoop2.0之后的版本移除了原有的JobTracker和TaskTracker,改由Yarn平台的ResourceManager负责集群中所有资源的管理和分配,NodeManager管理集群中单个计算节点。2.Yarn平台答:Yarm的设计减少了JobTracker的资源消耗,减少了Hadoop1.0中发生单点故障的风险。我们还可以在Yarm平台...翻译 2018-08-28 13:09:36 · 191 阅读 · 0 评论 -
Hadoop 之 深入探索MapReduce
1.MapReduce基础概念答:MapReduce作业时一种大规模数据的并行计算的便程模型。我们可以将HDFS中存储的海量数据,通过MapReduce作业进行计算,得到目标数据。2.MapReduce的四个阶段答:Split阶段、Map阶段(需要编码)、Shuffle阶段、Reduce阶段(需要编码),下面以WordCount为例。3.从分片到Map答:我们知道输入的文件...翻译 2018-08-28 13:29:33 · 160 阅读 · 0 评论 -
Hadoop 之 分布式缓存的原理和方法——DistributedCache
1.什么时Hadoop的分布式缓存答:在执行MapReduce时,可能Mapper之间需要共享一些信息,如果信息量不大,可以将其从HDFS中加载到内存中,这就是Hadoop分布式缓存机制。2.如何使用缓存机制答:在main方法中加载共享文件的HDFS路径,路径可以是目录也可以是文件。可以在路径末尾阶段追加 '#' +别名,在map阶段可以使用该别名。 这时执行第一步的代码...翻译 2018-08-29 23:32:56 · 579 阅读 · 0 评论