yexiangCSDN的专栏

原创 《大数据： Hadoop（HDFS） DN 新增和退役节点的黑白名单》

dd

原创 《大数据： Hadoop（HDFS） NN数据备份》

dd

原创 《大数据： Hadoop（HDFS） NN，DN 工作原理_有2NN模式》

四、总结1. NN主要负责元数据的存储2. 两种存储的文件格式 edits: 在NN启动后，保存新写入的命令 fsimage: 在合并了edits和fsimage文件后，将新的元数据持久化到新的fsimage文件中 合并的时机： 需要满足checkpoint的条件 ①默认1h ②两次checkp...

原创 《指弹：少年的梦》

原创 《指弹：花》

原创 《指弹：青鸟》

原创 《大数据： Hadoop（HDFS） NN，DN 工作原理_安全模式》

dd

原创 《大数据： Hadoop （HA） 》

DD

原创 《大数据： Hadoop （ZooKeeper）中间件框架 》

dd

原创 《大数据： Hadoop（MapReduce） 核心思想与运行流程分析》

二、MR的核心编程思想1.概念 Job(作业) : 一个MR程序称为一个Job MRAppMaster（MR任务的主节点）: 一个Job在运行时，会先启动一个进程，这个进程为 MRAppMaster。 负责Job中执行状态的监控，容错，和RM申请资源，提交Task等！ Task(任务)： Task是一个进程！负责某项计算！ Map(Map...

原创 《大数据： Hadoop（HDFS） NN，DN 工作原理_无2NN模式》

一、HDFS1. HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统2. HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不适合存储小文件(存储小文件时会降低NN的服务能力)3. HDFS的块大小 块大小可以通过hdfs-site.xml中的dfs.blocksize进行配置！ 如果不配置，那么在hadoop1.x时，dfs.blocksize=64M，在hadoop2.xdfs.blocksize=12...

原创 《大数据： Hadoop（HDFS） 客户端操作API》

3.1HDFS客户端环境准备1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图3-4所示2．配置HADOOP_HOME环境变量，如图3-5所示3.配置Path环境变量，如图3-6所示4．创建一个Maven工程HdfsClientDemo5．导入相应的依赖坐标+日志添加6．创建包名：com.atguigu.hdfs7．创建HdfsClient类8．执行程序运行时需...

原创 《大数据： Hadoop（HDFS） 读写数据流程分析》

一、HDFS的写数据流程①服务端启动HDFS中的NN和DN进程②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件③NN处理请求，检查客户端是否有权限上传，路径是否合法等④检查通过，NN响应客户端可以上传⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M, NN根据客户端上传文件的副本数(默认为3)，根据机架感知策略选取指定数量的DN节点返回⑥客户端根据返回的DN节点，请求建立传输通道 客户端向最近(网络举例最近)的DN节点发起通道建立请求，由这个...