qq_38603049的博客

Hadoop公司考试题（基础）几乎快忘记考试为何物的时候，突然参加考试，慌的一批。百度答案发现，老师们也是偷懒，居然用 牛* 的基础试题1、现在在hadoop集群当中的配置文件中有这么两个配置，请问假如集群当中有一个节点宕机，主节点namenode需要多长时间才能感知到？<property><name>dfs.heartbeat.interval</name><value>3</value></property><

HDFS的读流程读详细步骤：1、client访问NameNode，查询元数据信息，获得这个文件的数据块位置列表，返回输入流对象。2、 就近挑选一台datanode服务器，请求建立输入流 。3、DataNode向输入流中中写数据，以packet为单位来校验。4、关闭输入流HDFS的写流程1、跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在2、NameNode返回是否可以上传3、Client先对文件进行切分，请求第一个block该传输到哪些Dat

安装Hadoop集群的简要步骤（1）集群准备工作a. 准备三台客户机（配置IP，编写主机名，配置网络，关闭防火墙......）（2）安装JDK，安装hadoop（3）配置JAVA_HOME 和 HADOOP_HOME的环境变量（4）使节点上的环境变量生效（使用命令 source /etc/profile）（5） 明确集群配置（6） 修改配置文件a)**core...

对hdfs客户端的理解（1）该客户端的形式有多种a.网页形式b. 命令行形式c.客户端在哪儿运行，都可以，只要该客户端可以和集群联网就行（2）文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数：dfs.blocksize副本数量的参数：dfs....

作业提交过程简单的分为 6 步（1）作业提交   第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业   第1步：client向RM(ResourceManager)申请(application)一个作业id   第2步：RM给client返回该job的资源的提交路径和作业id。   第3步：client提交jar包、切片信息和配...

有可能使 Hadoop 任务输出到多个目录中吗？如果可以的话，怎么做？1）可以输出到多个目录中，采用自定义OutputFormat。2）实现步骤：（1）自定义outputformat，（2）改写recordwriter，具体改写输出数据的方法write()...

例如有两个键值对 <“a”,1> 和 <“a”,1>，如果合并，会得到<“a”,2>，如果归并，会得到<“a”,<1,1>>。

1）排序的分类：（1）部分排序：MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部排序。（2）全排序：如何用Hadoop产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构。替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序...

在学习这部分的时候，一直想弄明白，因此在博客上找到一张图，自己保存了，原文章自己没收藏，因此只留下一张图希望这个图可以让大家更好的理解这个知识点，同时也谢谢这个图的作者！！！...