hadoop名菜项目
文章平均质量分 66
_东极
少年锦时
展开
-
Hadoop3.x新特性
文章目录多NN的HA架构纠删码 多NN的HA架构 HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode,将edits复制到三个JournalNode。该体系结构能够容忍系统中一个NN或一个JN的故障。 但是,某些部署需要更高程度的容错能力。Hadoop3.x允许用户运行多个备用NameNode。例如,通过配置三个NameNode和五个JournalNode,群集能够容忍两个节点而不是一个节点的故障。 纠删码 HDFS中的默认3副本方案在存储空间和其他资源(例如,网原创 2021-02-08 22:50:34 · 291 阅读 · 0 评论 -
hadoop3.1安装
文章目录基础环境配置启动报错 基础环境配置 准备3台虚拟机,并且都是Centos7环境,单机内存配置建议4G 1.安装必要环境 sudo yum install -y epel-release sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git 2.修改虚拟机为静态IP vim /etc/sysconfig/network-scripts/ifcfg-ens33原创 2021-02-08 22:42:35 · 979 阅读 · 0 评论 -
MapReduce根据WordCount分析map和Reducer原理
Mapper 阶段 package com.zyd.wc; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import j...原创 2018-11-10 11:39:38 · 433 阅读 · 0 评论