大数据架构
文章平均质量分 85
大数据架构的简单梳理
郭大侠写leetcode
这个作者很懒,什么都没留下…
展开
-
大数据架构简述(一):大数据的本质
1.大数据是什么大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infrastress的论文中首次提出Big Data这个此。Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现,而Hadoop的诞生原创 2017-06-02 12:43:57 · 3831 阅读 · 0 评论 -
大数据架构简述(二):数据获取
1.数据分类按数据形态,我们把数据分为结构化数据和非结构化数据两种。结构化数据如传统的Data Warehouse数据,字段有固定的长度和语义,计算机程序可以直接处理非结构化数据有文本数据、图像数据、自然语言数据等,计算机程序无法直接进行处理,需要进行格式转换或信息提取。2.数据获取组件常见的信息获取组件包括电信特有的探针技术,为获取网页数据常用的爬虫,采集日志数据的组件Flu原创 2017-06-02 13:37:36 · 5748 阅读 · 0 评论 -
大数据架构简述(三):流处理、批处理、交互式查询
我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理,通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询,通常时间跨度在数十秒到数分钟之间复杂的批量数据处理,通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术,它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态,所以流引擎需要连续不断处理数据流处理的主要应用场景:金融领域原创 2017-06-02 14:31:10 · 29401 阅读 · 0 评论 -
大数据架构简述(四):机器学习和数据挖掘
1.概念机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery i原创 2017-06-02 15:01:44 · 4034 阅读 · 0 评论 -
大数据架构简述(五):资源管理、存储、云
1.资源管理1.1 资源管理的目标子系统的高效调度、提高全系统的资源利用率、支持动态调整切分资源、增强系统扩展性1.2 Hadoop领域的资源调度框架Hadoop领域的资源调度框架主要有YARN、Mesos、Borg、Omega等1.3 资源分配算法Mesos采用Dominant Resource Fair(DRF)调度算法YAN实现了FIFO Scheduler、Ca...原创 2017-06-02 15:15:46 · 2400 阅读 · 0 评论