Hadoop面试

最新推荐文章于 2022-11-21 15:33:55 发布

bingoabin

最新推荐文章于 2022-11-21 15:33:55 发布

阅读量10w+

点赞数 5

分类专栏：大数据 hadoop 文章标签： hadoop hadoop面试 hadoop表达 hadoop交流

本文链接：https://blog.csdn.net/bingoxubin/article/details/79072945

版权

大数据同时被 2 个专栏收录

65 篇文章 14 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

hadoop

47 篇文章 2 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文围绕Hadoop面试展开，详细解答了如何处理海量日志数据以找到访问百度次数最多的IP，并总结了十个海量数据处理方法。通过分而治之的策略和Hash映射，解决大数据场景下的实际问题。同时探讨了在数据可读入内存和不可读入内存两种情况下，统计出现次数最多的前N个数据的方法，包括trie树、堆、数据库索引、分布式计算等策略。

摘要由CSDN通过智能技术生成

                    
  1.Hadoop集群可以运行的3个模式？ 
 
   单机（本地）模式 
  
 伪分布式模式 
  
 全分布式模式 
  2.单机（本地）模式中的注意点？ 
 
   在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 
  3.伪分布模式中的注意点？ 
 
   伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。 
  4.VM是否可以称为Pseudo？ 
 
   不是，两个事物，同时Pseudo只针对Hadoop。 
  5.全分布模式又有什么注意点？ 
 
   全分布模式通常被用于生产环境，这里我们使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。这里会存在Namenode运 行的主机，Datanode运行的主机，以及task tracker运行的主机。在分布式环境下，主节点和从节点会分开。 
  6.Hadoop是否遵循UNIX模式？