大数据
文章平均质量分 82
覃晓赵
it初入行,诸位前辈多多关照
展开
-
hdfs架构
hdfs原创 2023-03-24 01:37:15 · 180 阅读 · 0 评论 -
Hive架构
Hive架构包括如下组件: CLI(command line interface)、JDBC/ODBC、Thrift Server、Hive WEB Interface(HWI)、metastore和Driver(Complier、Optimizer和Executor) Driver组件:核心组件,整个Hive的核心,该组件包括Complier、Optimizer和Executor,它的作用是原创 2017-08-17 23:02:13 · 321 阅读 · 0 评论 -
MapReduce的架构组成
MapReduce基本架构 MapReduce包含四个组成部分,分别为Client,JobTracker,TaskTracker,Task。 a)client客户端 每一个Job都会在用户端通过Client类将应用程序以及参数配置Configuration打包成Jar文件存储在HDFS,并把路径提交到JobTracker的master服务,然后由master创建每一个Task(即MapTa转载 2017-08-14 23:15:02 · 3394 阅读 · 0 评论 -
hadoop IO操作
大数据学习之hadoop IO操作一、hadoop IO简述Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两种类型的容器,分别是SequenceFile和原创 2017-08-11 10:48:43 · 322 阅读 · 0 评论 -
hdfs架构的简述与hdfs读写策略
大数据学习之hdfs学习笔记一、hdfs架构的简述a.什么是hdfsHadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器。对外部客户机而言,HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。很多时候,原创 2017-08-10 23:37:49 · 883 阅读 · 0 评论 -
大数据概述
大数据学习之大数据概述1.数据单位8 bit = 1 Byte 一字节 1024 B = 1 KB (KiloByte) 千字节 1024 KB = 1 MB (MegaByte) 兆字节 1024 MB = 1 GB (GigaByte) 吉字节 1024 GB = 1 TB (TeraByte) 太字节 1024 TB = 1 PB (PetaByte) 拍字节 1024 PB =原创 2017-08-07 23:24:11 · 403 阅读 · 0 评论 -
MapReduce的数据流程、执行流程
MapReduce的大体流程是这样的,如图所示:由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 3.worker读取输入源片段 4.worker执行map任务,将任务输出保存在本地 5.master调度worker执行reduce任务,reduce worker读取map任务的输出文件 6.执行r转载 2017-08-14 23:41:43 · 958 阅读 · 0 评论 -
Mapreduce之运行机制
客户端要编写好mapreduce程序,配置好mapreduce的作业也就是job,接下来就是提交job了,提交job是提交到JobTracker上的,这个时候JobTracker就会构建这个job,具体就是分配一个新的job任务的ID值,接下来它会做检查操作,这个检查就是确定输出目录是否存在,如果存在那么job就不能正常运行下去,JobTracker会抛出错误给客户端,接下来还要检查输入目录是否存在转载 2017-08-15 20:26:37 · 363 阅读 · 0 评论 -
数据仓库
数据库与数据仓库的区别简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定转载 2017-08-28 23:56:59 · 963 阅读 · 0 评论