Hadoop
文章平均质量分 78
追_梦_者
搬砖码农一位
展开
-
Hadoop学习笔记之--Hadoop的安装
由于没有集群环境,只能在一台电脑上进行Hadoop的搭建,因此只能以伪分布式的方式进行搭建。准备工作操作系统:CentOS 7 JDK版本:1.8.0_131 Hadoop版本:2.8.0操作系统安装系统最好为Linux,推荐CentOS,关于系统安装,这里不赘述。JAVA环境配置1.下载jdk$ wget http://download.oracle.c原创 2017-07-12 20:03:19 · 640 阅读 · 0 评论 -
HDFS的架构设计
HDFS为是Apache Hadoop Core项目的一部分,是Hadoop的核心项目,今天我们就来讨论以下关于HDFS架构设计问题。分布式既然HDFS标榜为一个分布式文件系统,那首要解决的就是分布式的问题。分布式,简单来说就是分布在各个节点,这些节点可能在不同的主机上,也可能在不同的数据中心,甚至还可能跨地区,跨国度。各节点之间通过网络来进行信息交互。DHFS通过Namenode和Datanode原创 2017-07-14 14:04:55 · 666 阅读 · 0 评论 -
Hadoop分布式集群搭建
前面分享了hadoop伪分布式的搭建方法,这次来分享一下分布式方式的搭建方法。 主机安装或虚拟机安装这里就不再赘述,下面直接进入正题:1.下面是网络配置,全部为静态:master : 192.168.80.128slave-1 : 192.168.80.129slave-2 : 192.168.80.130slave-3 : 192.168.80.131slave-4 : 192.168.原创 2017-07-14 18:50:05 · 717 阅读 · 0 评论 -
初识Hive
Hive是什么Hive是一个基于Hadoop文件系统的数据仓库,提供了对数据进行ETL(抽取,转换,加载)的工具、数据存储管理和大型数据集的查询分析能力。Hive提供了类SQL语言-HiveQL,可使用关系数据库提供的的SQL语句来操作Hive。Hive擅长做什么?Hive擅长在不变的、大规模的数据集上执行的批量操作。Hive具有良好的扩展性,因为其建立在HDFS上,可自动适应机器数目和数据量的原创 2017-07-31 21:54:07 · 531 阅读 · 0 评论 -
Zookeeper详解
Zookeeper简介zookeeper是一个为分布式应用所设计的开源协调服务,提供同步,配置管理,分组和命名服务。 设计目标:简单化 zookeeper允许分布式的进程通过共享体系内的命名空间来进行协调,其组织与标准的文件系统非常相似,是由一些数据寄存器组成,在zookeeper中,这些寄存器称之为znode。zookeeper的数据存放在内存当中,因此其具有高吞吐量和低延迟。健壮性 z原创 2017-08-21 09:47:47 · 3149 阅读 · 0 评论 -
初识HBase
HBase是一个开源的,分布式的,多版本的,面向列的存储模型。面向列:简单来说,就是指在存储数据库中的数据时,以列为单位来存储,把一列的数据串在一起存储起来,而非把一行的数据作为一个单元存储起来。 HBase的特点:HBase是构建在HDFS上的列式存储系统基于Google的BigTable模型开发,典型的key/value系统逻辑上,HBase将数据按照表,行和列进行存储HBase主要原创 2017-08-07 09:38:13 · 645 阅读 · 0 评论