分布式
褚金辉
java
展开
-
Hbase官方手册-快速入门
概述你可以使用Hbase用来随机,实时的读写大数据。这个项目的目标是处理非常大的表:数十亿行和列,并且使用廉价的服务器集群就可以实现。Hbase是开源的,分布式的,非关系型数据库。可以直接使用本地系统文件,也可以使用Hadoop的HDFS文件存储系统。不过为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大数据的能力,建议使用HDFS作为文件存储系统。单节点安装这个章节介绍单节点HBase的翻译 2017-11-08 18:46:02 · 4644 阅读 · 0 评论 -
hadoop2.8.2HDFS架构
介绍Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的翻译 2017-11-02 11:51:01 · 511 阅读 · 0 评论 -
hadoop2.8.2分布式集群实战
环境CentOS6.5+jdk1.8+Hadoop2.8.2;概述本文档搭建三台hadoop的集群,其中一台为Master,两台为Slaves。 Master上的进程:NameNode,SecondaryNameNode,ResourceManager。 Slaves上的进程:DataNode,NodeManager。准备环境设置hostname我们定义三台服务器的host那么为hadoop1,原创 2017-11-01 20:06:26 · 5077 阅读 · 0 评论 -
hadoop2.8.2 FS SHELL
概述文件系统(FS)shell包含很多很像shell的命令,可以直接和HDFS交互。就像 Local FS,HFTP FS,S3 FS等。FS SHELL 可以用下面的命令执行:bin/hadoop fs <args>所有的FS SHELL命令都需要一个URI作为参数,URI的格式为:scheme://authority/path对于HDFS来说,scheme就是hdfs。对于Local FS来说s原创 2017-11-02 19:26:36 · 1027 阅读 · 0 评论 -
HBase表设计介绍
概述在不久的过去,大数据的应用越来越多。为了支持这些应用以及扩展老的应用,很多新的数据管理系统被开发出来,被称作大数据革命。这些系统中很多都是开源和社区驱动的。Apache Hbase就是这样的一个系统,是一个开源的分布式的数据库,和Google Bigtable类似。并且发展迅速,为那些需要快速随机访问的大数据应用提供了好的选择。建立在Apache Hadoop之上,并且和Hadoop紧密的集成。翻译 2017-11-28 11:14:34 · 18665 阅读 · 3 评论