大数据原理与技术
文章平均质量分 89
风起天澜、
daydayup
展开
-
大数据数据库(HBase)
大数据数据库(HBase)一、HBase概述1.1 HBase简介1.2 HBase与关系型数据库的区1.3 HBase的地应用场景二、HBase的架构原理2.1 表和Region2.2 HBase的数据模型2.3 Hbase的系统架构和功能组件一、HBase概述基于google Bigtable开发的开源分布式数据库。1.1 HBase简介关系数据库(RDBMS)基于关系模型建立的数据库。例如:Oracle,DB2,PostgreSQL,SQL Server,MySql,无法满足大量数据处理原创 2021-01-14 12:53:34 · 6327 阅读 · 0 评论 -
第四章大数据离线计算框架(MapReduce&YARN)
第四章大数据离线计算框架(MapReduce&YARN)一、MapReduce技术原理1.1 MapReduce概述1.2 Map函数和Reduce函数二、YARN技术原理2.1 YARN的概述与应用2.2 YARN的架构2.3 MapReduce的计算过程2.4 YARN的资源调度一、MapReduce技术原理并行的编程模型,用于大规模的数据集(TB)的并行计算。Hadoop MapReduce是基于HDFS的分布式编程框架,可以使没有并行计算和分布处理系统开发经验的程序员有效利用分布式系原创 2021-01-12 20:49:49 · 1067 阅读 · 0 评论 -
第三章大数据存储技术HDFS
大数据存储技术HDFS一、概述1.1 分布式文件系统(DFS)的概念和作用1.2 HDFS概述二、HDFS的相关概念2.1 块2.2 NameNode2.3 Secondary NameNode2.4 DataNode三、HDFS体系架构与原理3.1 HDFS体系结构3.2 HDFS高可用机制一、概述1.1 分布式文件系统(DFS)的概念和作用一台计算机的存储容量有限,分布式文件系统将文件分布存储在网络中的多个计算机节点上的文件系统,设计多台计算机。1.2 HDFS概述是Hadoop的核心组原创 2021-01-10 21:14:32 · 671 阅读 · 2 评论 -
第2章 Hadoop大数据处理平台
第2章 Hadoop大数据处理平台一、Hadoop平台概述1.1 Hadoop简介1.2 Hadoop特性二、Hadoop生态系统2.1 Hadoop存储系统(HDFS&HBase)2.2 Hadoop计算框架(MapReduce&YARN)2.3 Hadoop 数据仓库(Hive)2.4 Hadoop 数据转换与日志处理(Sqoop&Flume)2.5 Hadoop 应用协调与工作流(ZooKeeper&Oozie)2.6 大数据安全技术(Kerberos&LDAP原创 2021-01-09 21:13:08 · 329 阅读 · 0 评论 -
第一章大数据概述
自己做的读书笔记,><第一章大数据概述一、大数据概念与价值1.1 什么是大数据1.1.2大数据的来源1.1.3 大数据有什么价值1.1.4 如何挖掘企业大数据的价值二、大数据的关键技术2.1大数据采集、预处理、和存储管理2.2 大数据分析与挖掘2.3 数据可视化三、大数据产业3.1 数据提供3.2 技术提供3.3 服务提供四、大数据应用场景一、大数据概念与价值1.1 什么是大数据Gartner给出大数据定义:大数据是指需要用高效率和创新型的信息技术加以处理,以提高发现洞察能力、决策能力原创 2021-01-08 20:11:26 · 271 阅读 · 0 评论