hodoop
文章平均质量分 50
hodoop
紫金小飞侠
这个作者很懒,什么都没留下…
展开
-
Hadoop之HDFS架构演进之路
Hadoop之HDFS架构演进之路hdfs 1.0 :Namenode会区分两种状态,active和standby,正常工作的时候时候由active Namenode对外提供服务,standby Namenode则会从journalnode同步元数据,保证和active保持元数据一致hdfs 2.0 HDFS 2.0采用Namenode HA(高可用)的方案当active Namenode出现故障或者宕机的时候,standby会自动切换为新的active Namenode对外提供服务,并原创 2021-07-22 16:40:47 · 120 阅读 · 0 评论 -
YARN
大数据技术生态体系推荐系统框架图YARN架构概述创建用户原创 2021-04-22 21:59:46 · 173 阅读 · 0 评论 -
MapReduce-hadoop-尚硅谷
第1章 MapReduce概述1.3 MapReduce核心思想1.4 MapReduce进程1.6 常用数据序列化类型1.7 MapReduce编程规范用户编写的程序分成三个部分:Mapper、Reducer和Driver。原创 2021-04-25 17:00:10 · 304 阅读 · 0 评论 -
hdfs 客户端java 代码
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2021-06-15 17:48:55 · 1160 阅读 · 1 评论 -
hadoop fs,hadoop dfs以及hdfs dfs区别
hadoop fs,hadoop dfs以及hdfs dfs区别转载 2021-06-15 16:03:09 · 117 阅读 · 0 评论 -
hadoop 安装部署-HDFS/YARN/MR
1.HDFS安装1.配置hdfs的NameNode(core-site.xml)vi etc/hadoop/core-site.xml<configuration><property><name>fs.defaultFS</name> <value>hdfs://kafka1:9000</value><description>配置NameNode的URL</description><原创 2021-05-07 16:48:39 · 279 阅读 · 0 评论 -
HDFS-尚硅谷
第 1 章 HDFS 概述1.2 HDFS 优缺点1.3 HDFS 组成架构DataNode存储数据的副本没有主从区别,读数据时客户端根据获取的元数据就近原则读取数据1.4 HDFS 文件块大小(面试重点)第 4 章 HDFS 的数据流(面试重点)4.1 HDFS 写数据流程4.1.1 剖析文件写入4.1.2 网络拓扑-节点距离计算4.1.3 机架感知(副本存储节点选择)官方 ip 地址机架感知说明http://hadoop.apache原创 2021-03-27 23:10:16 · 261 阅读 · 0 评论