Hadoop
文章平均质量分 81
heqianqiann
每一个不曾起舞的日子都是对生命的辜负
展开
-
Hadoop HDFS的运行原理
简介HDFS(Hadoop Ditributed File Syste)是Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。② 运行在廉价的机器上。③ 适合大数据的处理。多大?多小?HDFS默认会将文件分割成b转载 2017-12-03 10:01:08 · 330 阅读 · 0 评论 -
Hadoop 基本概念
Hadoop 是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.Hadoop 的优点Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hado原创 2017-12-03 10:13:48 · 895 阅读 · 0 评论 -
Hadoop 环境搭建和配置
一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.241.128主机名:admin安装用户:root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下载jdk-7u转载 2017-11-26 21:20:33 · 562 阅读 · 0 评论 -
Hadoop 基本了解 (一)
一.构成Hadoop主要四个构成部分:基础核心:提供基础的通用功能HDFS:分布式存储MapReduce:分布式计算Yarn:资源分配(任务的执行方式)1.HDFS的构成主要分为三个节点:NameNode:主要存储数据的存放地址等元数据DataNode:只用来存储数据SecondaryNameNode:辅助DataNode,把元数据持久化到磁盘中1...原创 2018-08-13 21:07:36 · 643 阅读 · 0 评论 -
Hadoop 四种环境部署 (二)
四种部署模式本地模式,伪分布式模式,完全分布式模式,HA完全分布式模式区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上 本地模式 1 1 伪分布式 N 1 分布式 N...原创 2018-08-13 21:08:43 · 352 阅读 · 0 评论