大数据技术原理与应用
文章平均质量分 95
厦门大学林子雨《大数据技术原理与应用》学习笔记
取个名字真难啊啊
这个作者很懒,什么都没留下…
展开
-
MapReduce
这里写目录标题MapReduce概述分布式并行编程MapReduce模型简介Map和Reduce函数MapReduce的体系结构MapReduce工作流程工作流程概述MapReduce各个执行阶段关于split(分片)Shuffle过程详解在Map端的Shuffle过程Reduce端的Shuffle过程实例分析:WordCountMapReduce概述分布式并行编程“摩尔定律”, CPU性能大约每隔18个月翻一番从2005年开始摩尔定律逐渐失效 ,需要处理的数据量快速增加,人们开始借助于分布式并行编原创 2022-02-21 15:02:04 · 1836 阅读 · 0 评论 -
云数据库概述
云数据库云数据库概述云数据库产品云数据库系统架构UMP系统概述UMP系统架构MnesiaRabbitMQZookeeperLVSController服务器Proxy服务器Agent服务器日志分析服务器信息统计服务器愚公系统UMP系统功能云数据库概述云计算是云数据库兴起的基础云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得更加容易。云数据库具有高可扩展性原创 2022-02-19 22:07:59 · 3122 阅读 · 0 评论 -
NoSQL数据库
NoSQL数据库NoSQL简介NoSQL兴起的原因关系型数据库已经无法满足web2.0的需求MySQL集群并不能完全解决问题One size fits allNoSQL与关系数据库的比较NoSQL的四大类型键值数据库列族数据库文档数据库图数据库NoSQL三大基石CAPBASE最终一致性补充:数据库事务的ACID原则NoSQL简介NoSQL是一种不同于关系数据库的数据库管理系统设计方式,是对非关系型数据库的统称,它所采用的数据模型并非传统关系数据库的关系模型,而是类似键值、列族、文档等非关系模型。NoSQ原创 2022-02-17 21:00:36 · 1525 阅读 · 0 评论 -
分布式数据库HBase
分布式数据库HBase概述BigTableHBase简介HBase与传统关系型数据库的对比分析HBase数据模型数据模型相关概念数据坐标概念视图物理视图面向列的存储HBase的实现原理HBase的功能组件表和regionRegion的定位HBase运行机制HBase系统架构Region服务器工作原理Store工作原理HLog工作原理HBase应用方案HBase编程实践基本操作(增删改查)Java APIHBase是针对谷歌BigTable的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要原创 2022-02-16 13:30:10 · 2030 阅读 · 0 评论 -
分布式文件系统HDFS
分布式文件系统HDFS1.分布式文件系统计算机集群结构分布式文件系统的结构2.HDFS简介3.HDFS相关概念HDFS中的块HDFS主要组件的功能4.HDFS体系结构5.HDFS储存原理冗余数据保存数据存取策略数据错误与恢复6.数据读写过程7.HDFS编程实践1.分布式文件系统计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群,都是由普通硬件构成的,这就大大原创 2022-02-13 18:49:07 · 924 阅读 · 0 评论 -
大数据计算系统
大数据计算系统数据存储系统数据建模数据存储逻辑存储结构物理存储结构分布式文件系统分布式数据库(NoSQL)统一数据访问接口数据处理系统大数据计算模式大数据计算架构两条技术主线计算模型与计算架构简单描述MapReduce计算模型数据应用系统数据存储系统包括数据采集层(系统日志、网络爬虫、无线传感器网络、物联网、以及各种数据源) ;数据清洗、抽取与建模(将各种类型的结构化、非结构化、异构数据转化为标准存储格式数据,并定义数据属性及值域) ;数据存储架构(集中式/分布式文件系统、关系型数据库/分布式数.原创 2022-01-21 22:40:32 · 2235 阅读 · 0 评论