一角残叶的博客

1 分布式文件系统 HDFS HDFS 是 GFS 的克隆版； HDFS特点 ： 扩展性，容错性，海量数据存储； 将文件切分为指定大小的数据块并以多副本的存储在多个机器； 数据切分、多副本、容错等操作对用户是透明的； 2 分布式资源调度系统 YARN Yet Another Resource Negotiator 负责整个集群资源的管理和调度 YARN 特点： 扩展性，容错性，多框架资源统一...

1 HDFS 介绍 Hadoop Distributed File System 运行在普通廉价的机器上 2 HDFS 架构 一个Master(NameNode) 配 多个 slaves(DataNode) 一个文件会被拆分成多个 Block,blocksize:128M 2.1 NameNode 客户端请求响应 元数据（文件的名字，副本，Block存放的DataNode地址）管理 s...

1 YARN 产生背景 MapReduce1.x 存在的问题：单点故障和 节点压力大不易扩展； Hadoop1.x 时，MapReduce -> Master/Slave 架构，1个 JobTracker 带多个

1 MapReduce 优点 海量数据离线处理； 易开发，易运行； 2 MapReduce 编程模型 将作业拆分成 Map 阶段和 Reduce 阶段 Map阶段： Map Tasks Reduce阶段： Reduce Tasks 2.1 wordcount 案例 2.2 核心概念 Split: 交由 MapReduce 作业来处理的数据块，是MapReduce 中最小的计算单元...

1 数据处理

1 修改配置文件 1.1 hadoop-env.sh export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64 1.2 core-site.xml <property> <name>fs.default.name</name> <value>hdfs://node1:8020&lt...

1 Hadoop 生态圈对比 Spark BDAS 2 Hadoop 对比 Spark