lv_hulk的博客

Hadoop的安装（伪分布式和完全分布式）（一）伪分布式的安装 {生产中不用 自己测试的时候，有时会用}假的分布式 所有的进程全部运行在一个节点上linux操作 普通用户下...

Apache Hadoop 3.0.0介绍Apache Hadoop 3.0.0Apache Hadoop 3.0.0 incorporates a number of significant enhancements over the previous major release line (hadoop-2.x).This release is generally available (...

HDFS的shell和API操作（一）HDFS的shell操作hadoop version //查看版本hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加hadoop fs -cat file(hdfs目录下的文件) //查看文件内容Hadoop fs -tail file(h...

HDFS的基本概念介绍HDFS的设计思路 HDFS是分布式的文件系统，用来在廉价的集群上做大数据量的存储。HDFS的基本概念介绍1.大文件被切割成小文件，使用分而治之的思想让很多服务器对同一个文件进行联合管理2.每个小文件做冗余备份，并且分散存到不同的服务器，做到高可靠不丢失（二） HDFS的架构HDFS的基本概念介绍namenode：集群老大，掌管文件系统目录树，处理客户端...

Hadoop大数据生态系统介绍1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。2、HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性...

##Hadoop按照功能分的三大模块介绍HDFS：hadoop的分布式文件系统运行架构：主从架构主：namenode 一个 单点故障 管理的作用助理：secondarynamenode:帮助namenode备份数据 但是接替不了namenode的工作从：datanode 多个存储数据的 干活的MAPREDUCE：分布式计算的代码应用程序 什么时候执行 ...

hdfs的两大核心文件上传过程示意图：具体步骤：1.客户端向namenode发送文件上传的请求2.namenode进行一系列的检查 权限 文件的父目录是否存在；文件是否已经存在或同名等，检查通过则允许上传3.允许客户端上传4.客户端发送真正的文件上传请求请求包括一个重要信息 文件的长度、大小5.namenode根据文件的长度计算文件的切块个数文件大小：200M/128M=2...

hdfs的四大机制：心跳机制：hdfs主从架构 主namenode 从datanode在hdfs的整个运行过程中需要datanode定时的向namenode发送心跳报告 namenode可以通过心跳报告确定datanode是可以正常工作的发送心跳报告的作用：1）报告自己的存活状况2）报告自己的块信息心跳报告的周期：3s不能过长 不能太短查看心跳间隔的 源代码：<...

元数据合并元数据位置：内存：1.抽象目录树 2.数据和块的对应关系 3.数据块的存储位置硬盘：1.抽象目录树 2.数据和块的对应关系硬盘上元数据加载到内存中的时候 接受datanode的心跳的时候会将块的存储位置填上元数据合并的条件元数据合并示意图：元数据合并具体步骤：1.secondarynamenode定期的向namenode发送检查，检查namenode的元...

（一）集群规划描述：hadoop HA 集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群总共准备了四台主机，分别是 hadoop01，hadoop02，hadoop03，hadoop04其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop03 和 hadoop04 做resourcemanager 的主备切换（二)集...