面试复习专栏
找工作啦
weidajiangjiang
这个作者很懒,什么都没留下…
展开
-
hadoop之yarn
一:调度器总结 目前,Hadoop作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默认的资源调度器是Capacity Scheduler。 具体设置详见:yarn-default.xml文件 <property> <description>The class to use as the re...原创 2019-12-27 21:56:45 · 200 阅读 · 0 评论 -
hadoop之mapreduce
一:MapReduce 1.谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 1)序列化和反序列化 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是硬盘的持久化数据,转换成内存中的对象。 Java的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带...原创 2019-12-27 21:21:33 · 211 阅读 · 0 评论 -
hadoop之hdfs
一:HDFS的读写流程 写流程 ①:客户端向NameNode请求上传文件,namenode检查目标文件是否存在,父目录是否存在。 ②:namenode返回信息是否可以上传 ③:客户端请求第一个block上传到哪几个datanode服务器上 ④:namenode返回n个datanode节点,分别为dn1,dn2,dn3… ⑤:客户端请求向dn1上传数据,dn1收到请求会继续调用dn2,然后依次调用,...原创 2019-12-27 20:46:02 · 179 阅读 · 0 评论