大数据原理与应用
大数据原理专栏,更多地讲述大数据知识的原理和架构,深入理解大数据的机理。
风云诀4
千里之行,始于足下。
展开
-
第七章-NoSQL数据库
第七章-NoSQL数据库文章目录第七章-NoSQL数据库NoSQL简介NoSQL VS. 关系数据库NoSQL的四大类型键值数据库列族数据库文档数据库图形数据库不同类型数据库比较NoSQL的三大基石CAPBASE最终一致性NewSQL数据库NoSQL简介传统关系数据库一度占据商业数据库应用的主流位置完备的关系理论基础事务管理机制的支持高效的查询优化机制但是关系数据库无法满足 Web 2.0和大数据时代的需求无法满足海量数据的管理需求无法满足数据高并发的需求无法满足高可扩展性和高可原创 2020-08-13 15:09:42 · 2520 阅读 · 0 评论 -
第六章-Hadoop优化与发展
第六章-Hadoop优化与发展文章目录第六章-Hadoop优化与发展Hadoop探讨HDFS HAHDFS Federation资源调度框架YARNMapReduce1.0的缺陷YARN设计思路YARN体系结构YARN工作流程YARN与MapReduce1.0的对比YARN的发展目标Hadoop探讨Hadoop1.0 的核心组件(仅指 MapReduce 和 HDFS, 不包括 Hadoop 生态系统内的 Pig、Hive、HBase 等其他组件),主要存在以下不足:抽象层次低,需人工编码表达能原创 2020-08-11 21:54:10 · 953 阅读 · 0 评论 -
第五章-分布式并行编程框架MapReduce
第五章-分布式并行编程框架MapReduce文章目录第五章-分布式并行编程框架MapReduceMapReduce概述分布式并行编程MapReduce模型和函数MapReduce体系结构MapReduce工作流程工作流程概述各个执行阶段shuffle过程实例分析:WordCountMapReduce的具体应用MapReduce编程实践MapReduce概述分布式并行编程过去很长一段时间,C...原创 2020-04-27 20:44:51 · 3282 阅读 · 0 评论 -
第四章-分布式数据库HBase
第四章-分布式数据库HBase文章目录第四章-分布式数据库HBaseHBase简介HBase数据模型数据模型概念概念视图物理视图面向列的存储HBase实现原理HBase功能组件表和RegionRegion的定位HBase运行机制HBase系统架构Region工作原理HBase简介BigTable是一个分布式存储系统,利用 MapReduce分布式并行计算模型来处理海量数据,使用谷歌分布式文件...原创 2020-03-29 13:36:45 · 1179 阅读 · 0 评论 -
第三章-分布式文件系统HDFS
第三章-分布式文件系统HDFS文章目录第三章-分布式文件系统HDFSHDFS简介HDFS相关概念HDFS块与组件名称节点第二名称节点数据节点HDFS体系结构HDFS存储原理冗余数据保存数据存取策略数据错误与恢复HDFS数据读写过程读过程写过程HDFS简介分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。分布式文件系统在物理结构上是由计算机集群中的多个节点构...原创 2020-03-26 13:08:08 · 1645 阅读 · 0 评论 -
第二章-大数据处理框Hadoop
第二章-大数据处理框Hadoop文章目录第二章-大数据处理框HadoopHadoop简介Hadoop概念Hadoop版本Hadoop优化与发展Hadoop生态系统HivePigHadoop重要组件Hadoop集群部署Hadoop简介Hadoop概念Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构。Hadoop被公认为行业大数据标...原创 2020-03-23 18:38:38 · 526 阅读 · 0 评论 -
第一章-大数据概述
第一章-大数据概述文章目录第一章-大数据概述大数据时代大数据概念、影响、应用大数据关键技术大数据计算模式大数据与云计算、物联网的关系本系列博客的材料均来自厦门大学林子雨老师的教材和MOOC资料。大数据时代根据IBM前首席执行官 Louis Gerstner 的观点, IT领域每隔十五年就会迎来一次重大变革。信息化浪潮发生时间标志解决问题代表企业第一次浪潮198...原创 2020-03-17 21:38:34 · 1780 阅读 · 0 评论