hadoop
Hadoop充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
褚金辉
java
展开
-
hadoop2.8.2官方文档之单节点集群
目标本文档描述怎样安装和配置一个单节点的Hadoop,让你最快的使用MapReduce和HDFS来进行一些简单的操作。需求平台支持GNU/Linux可以用作开发和正式平台,Hadoop在GNU/Linux平台集群2000个节点已经被证实是可行的。windows平台也是支持的,不过下面文档中的步骤都是在Linux上的,如果要在windows上安装Hadoop,请查看wiki page软件支持li翻译 2017-10-30 18:25:18 · 625 阅读 · 0 评论 -
hadoop2.8.2官方文档之分布式集群
目标这个文档介绍怎么使用Hadoop集群,从几个节点到几千个节点。想要玩转Hadoop,你可能需要先尝试一下单节点模式:see(单节点模式) 这个文档不包括一些高级主题,比如:安全性和高可用性。需求安装java正确版本。(单节点模式中介绍了如何选择正确java版本)从Apache镜像下载稳定版的Hadoop。安装安装一个Hadoop集群需要在不同的机器上解压软件。把不同的硬件(服务器)拆分为翻译 2017-10-30 19:24:56 · 760 阅读 · 0 评论 -
hadoop2.8.2分布式集群实战
环境CentOS6.5+jdk1.8+Hadoop2.8.2;概述本文档搭建三台hadoop的集群,其中一台为Master,两台为Slaves。 Master上的进程:NameNode,SecondaryNameNode,ResourceManager。 Slaves上的进程:DataNode,NodeManager。准备环境设置hostname我们定义三台服务器的host那么为hadoop1,原创 2017-11-01 20:06:26 · 5065 阅读 · 0 评论 -
hadoop2.8.2HDFS架构
介绍Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的翻译 2017-11-02 11:51:01 · 500 阅读 · 0 评论 -
hadoop2.8.2命令手册
概述所有的hadoop命令都是靠bin/hadoop脚本来执行。不带任何参数执行bin/hadoop脚本会打印出所有命令的描述。 用法如下:hadoop [--config confdir] [--loglevel loglevel] [命令] [常规选项] [命令选线] 选项 描述 –config confdir 覆盖默认配置目录,默认是${HADOOP_HOME}/conf翻译 2017-11-02 18:05:25 · 1449 阅读 · 0 评论 -
hadoop2.8.2 FS SHELL
概述文件系统(FS)shell包含很多很像shell的命令,可以直接和HDFS交互。就像 Local FS,HFTP FS,S3 FS等。FS SHELL 可以用下面的命令执行:bin/hadoop fs <args>所有的FS SHELL命令都需要一个URI作为参数,URI的格式为:scheme://authority/path对于HDFS来说,scheme就是hdfs。对于Local FS来说s原创 2017-11-02 19:26:36 · 1022 阅读 · 0 评论 -
hadoop2.8.2 MapReduce官方教程
目标这个文档从用户的角度出发,全面介绍MapRecue框架的各个方面。先决条件确保你的Hadoop已经安装好,并且正在运行,详细信息请查看:单点集群:http://blog.csdn.net/maosijunzi/article/details/78395805 分布式集群:http://blog.csdn.net/maosijunzi/article/details/78396299 分布式集翻译 2017-11-07 19:30:19 · 1441 阅读 · 0 评论 -
hadoop2.8.2 YARN 架构
YARN的核心思想是把资源管理和任务调度/监控分离到不同的进程中。这个思想的实现依赖于全局的ResourceManager(RM)和每个应用的ApplicationMaster(AM)。 一个应用就是一个单独的作业或者DAG。ResourceManager和NodeManager形成了数据计算框架, ResourceManager是系统中所有应用的资源仲裁者。 NodeManager是个代理,翻译 2017-11-08 11:05:33 · 570 阅读 · 0 评论 -
Hbase官方手册-快速入门
概述你可以使用Hbase用来随机,实时的读写大数据。这个项目的目标是处理非常大的表:数十亿行和列,并且使用廉价的服务器集群就可以实现。Hbase是开源的,分布式的,非关系型数据库。可以直接使用本地系统文件,也可以使用Hadoop的HDFS文件存储系统。不过为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大数据的能力,建议使用HDFS作为文件存储系统。单节点安装这个章节介绍单节点HBase的翻译 2017-11-08 18:46:02 · 4633 阅读 · 0 评论 -
Hbase官方手册-配置
学过上一章快速入门之后,本章详细的介绍hbase的配置。请仔细的阅读本章节,尤其是基本先决条件,保证HBase测试和部署的正常工作,预防数据丢失配置文件hbase和hadoop使用相同的配置系统。所有的配置文件在conf目录下,集群中所有节点中的配置必须保持同步,所有的配置文件如下: backup-masters 默认是不存在的,是一个文本文件,列出所有需要启动备份Master的主机名称或ip,翻译 2017-11-09 18:47:15 · 4542 阅读 · 0 评论 -
HBase表设计介绍
概述在不久的过去,大数据的应用越来越多。为了支持这些应用以及扩展老的应用,很多新的数据管理系统被开发出来,被称作大数据革命。这些系统中很多都是开源和社区驱动的。Apache Hbase就是这样的一个系统,是一个开源的分布式的数据库,和Google Bigtable类似。并且发展迅速,为那些需要快速随机访问的大数据应用提供了好的选择。建立在Apache Hadoop之上,并且和Hadoop紧密的集成。翻译 2017-11-28 11:14:34 · 18645 阅读 · 3 评论