大数据
brucewayne1997
这个作者很懒,什么都没留下…
展开
-
Hbase介绍
Hbase 介绍 HBase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBas...原创 2019-12-01 17:13:44 · 129 阅读 · 0 评论 -
什么是Hadoop
Hadoop的架构 Hadoop主要有两个层次: 加工/计算层(MapReduce) 存储层(Hadoop分布式文件系统) 除了上面提到的两个核心组件,Hadoop的框架还包括以下两个模块: Hadoop通用:这是Java库和其他Hadoop组件所需的实用工具 Hadoop YARN :这是作业调度和集群资源管理的框架 HDFS HDFS遵循主从架构,它具有以下元素。 1、名称节点 -Nameno...原创 2019-12-01 16:58:06 · 212 阅读 · 0 评论 -
MapReduce简介
什么是MapReduce? 一、MapReduce简介 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核心框架。 Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个hadoop 集群上 Hadoop的四个组件 HDFS:分布式存储系统 MapReduce:分布式计算系统 Y...原创 2019-11-27 16:48:36 · 344 阅读 · 0 评论 -
关系数据库和非关系数据库区别
关系数据库和非关系数据库区别 当前主流的关系型数据库有Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL等。 非关系型数据库有 NoSql、Cloudant。 nosql和关系型数据库比较? 优点: 1)成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购买使用,相比关系型数据库价格便宜。 2)查询...原创 2019-11-27 16:46:29 · 391 阅读 · 0 评论 -
HDFS简介
HDFS Hadoop Distributed File System(Hadoop分布式文件系统) 问题提出:当需要存储的数据很多很大,一台机器存储不了时,需要将数据切割成块,使用多台机器分布式存储这些数据 HDFS有3大主要角色: NameNode(以下简称NN) SecondaryNameNode(以下简称SNN) DataNode(以下简称DN) NameNode的主要工作就是和Clien...原创 2019-11-27 16:44:04 · 159 阅读 · 0 评论