![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据组件简介
BIN3399
这个作者很懒,什么都没留下…
展开
-
spark相关介绍
spark: 一站式的解决方案,集批处理,实时流处理,交替式查询。图计算与机器学习于一体 应用场景: 批处理可用于ETL(抽取,转换,加载) 机器学习可用于自动判断淘宝的买家评论式好评还是差评 交互式分析可用于查询Hive数据仓库 流处理可用于页面点击流分析,推荐系统,舆情分析等实时业务 特点:轻:核心代码有3万行 快:对小数据集可达到亚秒级的延迟 灵:不同层面的灵活 巧:巧妙借力其他组件 Spark中间数据存放在内存中,对于迭代运算,批处理计算效率高,延迟低 Spark...原创 2020-07-29 09:50:22 · 183 阅读 · 0 评论 -
ElasticSearch笔记总结介绍
ElasticSearch简介 ElasticSearch是一个高性能,基于Lucene的全文检索服务,是一个分布式的Restful风格的搜索和数据分析引擎,也可以作为NoSQL数据库使用。 对Lucene进行了扩展 原型环境和生产环境可无缝切换 能够水平扩展 支持结构化和非结构化数据 (Lucene 是apache软件基金会一个开放源代码的全文检索引擎工具包,是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目原创 2020-07-29 09:39:41 · 247 阅读 · 0 评论 -
YARN总结笔记简简介
YARN概述 Apache Hadoop YARN 是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度, 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN组件架构 ResourceManager 负责集群 资源统一管理和计算框架管理,主要包括调度与应用程序管理。 调度器:根据容量、队列等限制条件,将系统中的资源分配给各个正在运行的应用程序。 应用程序管理器:负责管理整个系统中的所有应用程序,包括应用程序提交,与调度器协商...原创 2020-07-29 09:38:14 · 171 阅读 · 0 评论 -
spark总结笔记
apache spark一种基于内存的快速、通用、可扩展的大数据计算引擎。集一站式解决方案,批处理、实时流处理、交互式查询、图计算与机器学习于一体。 轻:Spark核心代码有3万行。 Scala语言的简洁和丰富表达力。 巧妙利用了Hadoop和Mesos的基础设施。 快:Spark对小数据集可达到亚秒级的延迟。 对大数据集的迭代机器学习即席查询、图计算等应用,Spark 版本比基于MapReduce、Hive和Pregel的实现快。 内存计算、数据本地性和传输优化、调度优化。 灵:Spark提供了不同层面原创 2020-07-29 09:37:23 · 176 阅读 · 0 评论