大数据:面试题收集(一)

标签: 大数据面试题
46人阅读 评论(0) 收藏 举报
分类:

描述hadoop2.0hadoop1.0的优势

https://blog.csdn.net/WYpersist/article/details/79951569

Hadoop命令

1. 杀死一个job

kill -9 进程id

2. 删除hdfs删的/tmp/bbb目录

  hadoop dfs -rm r /tmp/bbb

3. 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

https://blog.csdn.net/iwantknowwhat/article/details/50822316

Hadoopnamenode宕机怎么办

https://blog.csdn.net/wypersist/article/details/79953718

编程题

还有海量日志数据保存在一个超级大的文件中,该文件无法直接读入内存,要求从中提取某天出访百度次数最多的那个IP

 

Mapreduce数据倾斜原因和解决方案

https://blog.csdn.net/wypersist/article/details/79797075

Spark 任务执行速度倾斜问题解决方案

https://blog.csdn.net/lsshlsw/article/details/52025949

简述Hbase 常见的性能瓶颈和优化方法

https://blog.csdn.net/wypersist/article/details/79954490

简述yarn中应用程序的运行的基本流程

https://www.cnblogs.com/yurunmiao/p/4494582.html

 

步骤1:用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster、用户程序等。

步骤2ResourceManager为该应用程序分配第一个Container,并与对应的NodeManager通信,要求它在这个Container中启动应用程序的ApplicationMaster

步骤3ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查看应     用程序的运行状态,然后它将为各个任务申请资源,并监控他的运行状态,直到运行结束,即要重复步骤4-7

步骤4ApplicationMaster采用轮询的方式通过RPC协议找ResourceManager申请和领取资源。  

步骤5:一旦Application申请到资源后,便与对应的NodeManager通信,要求启动任务。

步骤6NodeManager为任务设置好运行环境,包括环境变量、JAR包、二进制程序等,然后将任务启动命令写到另一个脚本中,并通过运行该脚本启动任务。

步骤7:各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度,ApplicationMaster随时掌握各个      任务的运行状态,从而可以再任务失败时重新启动任务。在应用程序运行过程中,用户可以随时通过RPC协议

ApplicationMaster查询应用程序的当前运行状态。

步骤8:应用程序运行完成后,ApplicationMasterResourceManager注销并关闭自己。

列举redis常见性能问题和解决方案

https://blog.csdn.net/tanga842428/article/details/52764608

简述JVM原理、调优

JVM知识问答集锦

https://blog.csdn.net/GV7lZB0y87u7C/article/details/79662413

Zookeeper集群中服务器之间是如何通信的

Followerleader之间的通信主要是因为Follower接收到像(create, delete, setData, setACL, createSession, closeSession, sync)这样一些需要让leader来协调最终结果的命令,将会导致Followerleader之间产生通信。由于leaderFollower之间的关系式一对多的关系,非常适合client/server模式,因此他们之间是采用c/s模式,由leader创建一个socket server,监听各Follower的协调请求。

Zookeeper选举机制

简单描述:

Leader服务器是整个zookeeper集群工作的核心,负责进行选举投票的发起和决议,更新系统状态。

Follower服务器是zookeeper集群状态的跟随者,用于接收客户端的请求并向客户端返回结果,在选举过程中参与投票。

1.每个Sever服务器启动以后都会询问其他的Sever服务器要投票给谁

2.对于其他服务器的询问,服务器每次都会根据自己的状态恢复自己推荐的Leaderid和上一次处理事务的zxid,但是系统启动的时候每个服务器都会推荐自己的

3.自己服务器收到其他所有的服务器回复以后,就计算出zxid最大的那个服务器,并将这个服务器相关信息设置成下一次要投票的Sever

4.计算的过程中获得的票数最多,且票数要过半数的服务器就选为Leader,否则要一直继续这个选举的过程,知道Leader被选举出来

5.选出的Leader开始等待其他服务器Follower的连接

6.Follower连接Leader将最大的zxid发送给Leader

7.Leader根据Follwerzxid来确定同步点,,完成同步后通知Follower已经成为update(现时)状态

8.Follower收到update消息后,就可以接受Client的请求服务了。

简述一般互联网架构的高可用设计

查看评论

Android开发技术-笔试面试题分析一

课程搜集整理了国内,国外各大计算机,互联网等公司的笔试面试最新题型,通过深入的分析来讲解Android开发的技术,使学习者对知识有更深入的理解,为自己笔试面试Android技术积累知识和经验。
  • 2016年09月20日 08:03

大数据面试题及答案 2018

1.   java内存模型2.gc3.编译好的scala程序,运行时还需要scala环境吗Scala的代码执行是用REPL过程,ReadExecute Print Loop4.object中有哪些方法...
  • qianfeng_dashuju
  • qianfeng_dashuju
  • 2018-02-28 17:14:21
  • 498

大数据工程师面试题(一)

1.   选择题 1.1.  下面哪个程序负责 HDFS 数据存储。 c)Datanode  答案 C datanode 1.2.  HDfS 中的 block 默认保存几份? a)3 份 ...
  • u011682879
  • u011682879
  • 2017-02-19 13:46:40
  • 5980

大数据面试题以及答案整理(一)

在进行大数据工作的面试中,将面试问题进行了汇总,然后对答案进行了整理。...
  • godblesspl
  • godblesspl
  • 2018-02-27 22:27:40
  • 4192

关于大数据的收集

大数据来了吗,怎么还没有一点祥照。 基于 数据库 数据分析 数据挖掘 云计算 首先,是数据的形式由原来的关系型数据(如电子表格形式)更多地表现为非关系型数据(如用户评论、图片等);数据存储方式也由...
  • solar155
  • solar155
  • 2014-10-21 09:02:06
  • 792

大数据面试题分析

最近看到一些大数据的面试题,今天就在这里好好分析一下。大数据面试题的条件一般都要求我们处理一批计算机内存放不下的数据。当我们遇到这种面试题时,我们会不知到该怎么办,其实我们可以通过以下这些思想来完成大...
  • qq_33417547
  • qq_33417547
  • 2016-11-10 15:12:21
  • 980

大数据怎么收集?

大数据时代,数据的重要性不言而喻,Asp.net系统怎么收集数据用于流量分析呢其实可以通过记录日志的方式收集数据,但日志在Asp.net中怎么破?大家可能会想到通过全局文件global中Applica...
  • hjs218
  • hjs218
  • 2016-10-15 22:32:55
  • 242

大数据工程师面试题(三)

2.13. 简述hadoop的调度器 FIFO schedular:默认,先进先出的原则 Capacity schedular:计算能力调度器,选择占用最小、优先级高的先执行,依此类推 Fair...
  • u011682879
  • u011682879
  • 2017-02-19 15:39:42
  • 4063

大数据工程师面试题(七)

9. 面试问题: 1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 ...
  • u011682879
  • u011682879
  • 2017-02-26 10:02:59
  • 14192

大数据日志收集框架之Flume入门

Flume是Cloudrea公司开源的一款优秀的日志收集框架,主要经历了两个大的版本,分别是  Flume-OG  Flume-NG  OG是0.9.x的版本,依赖zookeeper,角色职责不...
  • u010454030
  • u010454030
  • 2016-02-29 13:49:33
  • 920
    个人资料
    持之以恒
    等级:
    访问量: 7549
    积分: 1187
    排名: 4万+
    文章存档