hadoop
MOJY_1825
业精于勤,荒于嬉;行成于思,毁于随。
展开
-
Hadoop生态圈知识概述
一 . hadoop 生态概况Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop 的核心是 YARN,HDFS 和 Mapreduce下图是 hadoop 生态系统,集成 spark 生态圈。在未来一段时间内, hadoop 将于转载 2018-01-31 09:49:29 · 303 阅读 · 0 评论 -
Hadoop的知识架构
(一).Hadoop的起源与背景知识1,什么事大数据?两个例子,大数据的核心问题是什么?2,概念:数据仓库(Data warehouse)3,概念:OLTP和OLAP4,(最重要的内容)Google的几篇论文:3篇(1)GFS:Google File System ---->HDFS(2)MapReduce计算模型 ---->Hadoop MapReduce( 3 )转载 2018-01-31 09:50:33 · 315 阅读 · 0 评论 -
Hadoop-2.8.0分布式安装手册
1. 前言当前版本的Hadoop已解决了hdfs、yarn和hbase等单点,并支持自动的主备切换。本文的目的是为当前最新版本的Hadoop 2.8.0提供最为详细的安装说明,以帮助减少安装过程中遇到的困难,并对一些错误原因进行说明,hdfs配置使用基于QJM(Quorum Journal Manager)的HA。本文的安装只涉及了hadoop-common、hadoop-hdfs转载 2018-02-05 14:05:10 · 2484 阅读 · 0 评论 -
Hadoop-2.8.0安装教程---分布式配置
1、安装前准备 ①、准备三台主机配置如下: 主机IP 主机名 用户 192.168.31.128 centos71转载 2018-02-05 14:08:02 · 243 阅读 · 0 评论