【备忘】关于大数据计算平台的一些思考

最新推荐文章于 2023-06-16 17:54:02 发布
最新推荐文章于 2023-06-16 17:54:02 发布
阅读量824 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenbinkria/article/details/80445607
版权

一个完整的大数据平台应该提供离线计算、即时查询、实时计算、实时查询这几个方面的功能.hadoop、spark、storm 无论哪一个，单独不可能完成上面的所有功能。

hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题；spark streaming解决的是实时计算问题；另外，还需要HBase或者Redis等NOSQL技术来解决实时查询的问题

chenbinkria
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据实时计算平台的设计和实现
禅与计算机程序设计艺术
10-10 1005
随着互联网、移动互联网等信息技术的不断发展，产生了海量的数据，每天都在产生大量的数据量。如何对这些海量数据进行有效处理、分析和决策，成为每一个企业必不可少的一项工作。传统的离线批处理数据处理方法已经不能适应这一需求的需要。随着大数据的快速增长，实时计算大数据存储、处理和分析技术也逐渐成为热门话题。实时计算平台是大数据计算的一个重要分支，通过实时计算，可以对实时生成的数据进行实时的、高效率的分析、过滤、分类、聚类等数据处理功能，并将结果及时输出给用户。
大数据计算平台
tian16的博客
05-01 5557
一、云计算 1.云计算的定义： 云计算是一种分布在大规模数据中心、能动态地提供各种服务器资源以满足科研、电子商务等领域需求的计算平台。 侠义云计算指IT基础设施的交付和使用模式； 广义云计算指服务的交付和使用模式。 2.云计算的核心思想：将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池，向用户按需服务。提供资源的网络被称为“云”。 3.云计算的特点： （1）超大规模 （...
审批效率提升30%+，大数据风控数智解决方案推动决策自动化
最新发布
zhoguancunkj的博客
06-16 196
以国内某城商行为例，中关村科金针对行方现有系统平台进行数智化升级改造，依托大数据、分布式微服务等技术，搭建贷前、贷中、贷后全生命周期化系统群，包含贷款风控平台、统一变量计算平台、决策引擎、大数据管理平台、数据分析挖掘平台和信用风险数据集市等，为反欺诈、贷前准入、贷中审批、额度测算、贷中监控及贷后管理提供系统支撑，帮助行方加强数据化风险管理能力与线上信贷风控决策能力。具备低延迟、高性能、高可用的大数据计算架构，支持变量自定义开发、毫秒级实时计算、场景化分组输出、变量溢出预警。
从0到1搭建大数据平台之数据计算
大数据指北
09-13 2080
大数据平台之数据计算，不得不学。
数据中台的存储系统和计算平台枚举
xt1233的博客
11-04 396
作者：向师富 转自：阿里巴巴数据中台官网 https://dp.alibaba.com 采集&传输层 Sqoop Hadoop、关系型数据库之间传输数据的工具。传输时，会启动多个MR作业并发的传输数据 DataX 阿里巴巴开源的数据同步工具，用来在各种异构数据源之间同步数据。比如 RDBMS<->Hadoop/MaxCompute、RDBMS<->hba...
beiwanglu.rar_半数集问题c_备忘方法计算组
09-20
备忘录方法实现半数集问题的算法，C++实现代码。用c[n]保存由n产生的半数集的大小。开始时将数组c[1..n]初始化为0.表明1到n的每一个自然数所产生的半数集的大小是多少 这个问题都没被处理过 一旦检测到数组中元素c[i...
统一流程平台阶段备忘信息
04-04
统一流程平台经过近年的项目交付实践，已基本确认统一流程平台在规模企业内标准化应用的可行性，基于内部的需求，统一流程平台将进入由技术驱动转向业务需求驱动，后续将基于项目的业务需求反向推进统一流程平台完善...
新三板关于员工股权激励计划的备忘录.docx
04-27
新三板/IPO:关于员工股权激励计划的备忘录 一、基本概况 （一）股权激励对象 公司拟对核心员工进行股权激励，既包括对公司发展作出突出贡献的老员工，也包括公司认为应当激励的其他员工。贵司可以根据企业自身...
详解java平台解析协议相关备忘
08-25
主要介绍了详解java平台解析协议相关备忘，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Android 备忘录源码-IT计算机-毕业设计.zip
04-01
前几年的Android应用源码Demo，主要面向的是学生毕业设计学习。
实用计算机数值计算方法及程序设计(c语言)
03-20
将算法描述、数值计算方法和程序设计方法学有机地结合，使读者能够利用正确的数值计算方法编写高效的计算机程序，达到提高分析问题和解决实际问题的能力。 本书共分9章。第1章介绍算法的概念、算法的描述及其设计基础； 第2章介绍误差的基本概念； 第3章介绍一元非线性方程的数值解法； 第4章介绍线性方程组的数值解法； 第5章介绍数值积分的计算方法； 第6章介绍矩阵的特征值及特征向量的计算； 第7章介绍插值法； 第8章介绍常微分方程数值解法； 第9章安排了内容丰富的上机实习题目。 本书可作为高等理工科院校本科生计算机数值计算课程的教材，也可以作为研究生教材和教师、工程技术人员的参考书。另外，对于书中的每一个算法，都给出了经过认真调试运行的C语言程序，同时，在附录中给出了经过调试运行的一些常见的基本算法的C语言程序，可供广大读者直接使用，以解决实际问题，具有极强的实用性。
数据中台·实时开发计算平台
sbq131415的专栏
12-13 2281
一站式、高性能实时大数据处理平台，广泛适用于流式数据处理场景。实时计算产品彻底规避繁重的底层流式处理逻辑开发工作，助力企业向实时化、智能化大数据计算升级转型
国内主流大数据平台对比
SeeK的云技术博客
05-06 7163
收集、分析和处理数据对于企业发展决策来说确实是非常有意义的事情，并且能够产生很大的社会、技术、经济价值。但更多的数据却不意味着更多的信息，甚至也不能代表从中能够获得更多的知识或者智慧。网络媒体对于“大数据”概念的炒作让很多并不真正懂得技术的人进入了大数据行业。 一、大数据行业真实业态 中国大数据网对于“大数据”的概念炒作发表了相关看法：“今天的真实业态：90%的大数据产品是伪需求，所以没人买单。”简单来说，就是90%的大数据产品并没有从用户需求出发，没有解决用户痛点，而是闭门造车、臆想出来的用户需求，而这些
一共81个，开源大数据处理工具汇总（上）
ShiZhixin的专栏
07-14 3925
作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache
什么是边缘计算？
热门推荐
粥同学的学习笔记
07-07 13万+
注：本篇翻译自施巍松教授的论文《Edge Computing : Vision and Challenges》 目录 摘要 简介 什么是边缘计算 为什么需要边缘计算 什么是边缘计算 边缘计算的优点 案例研究 云卸载 视频分析 智能家居 智慧城市 边缘协作 机遇和挑战 编程可行性 命名 数据抽象 服务管理 私密性 最优化方法 小结 摘要 物联网技术的快速发展和云服...
小白聊智慧制造之十四：一文轻松读懂边缘计算
杨奎的博客
08-26 2958
大概很多人都有这样的经历：不小心，手被火烧或被开水烫了，人会立即移开自己的手，这个反应是人的自组织条件反射反应。我们假设一下，如果我们的手被火烧或被开水烫由我们大脑根据汇集的信息做反应决定，再采取行动的话，那会是一个什么样的场景？ 假设我们把人的条件反射标记为边缘计算，把人的大脑的反应标记为云计算的话，那么我们就可以浅显而又深刻地了解边缘计算和云计算的区别。 一、什么是边缘计算 边缘计算...
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
京庐空间
01-04 8181
概况介绍 大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术
大数据平台学习（一）实时计算框架和存储
qq_20095389的博客
02-28 1960
一、计算框架 Storm，Spark，Flink简介和区别 参考：https://www.jianshu.com/p/16323566f3c6 0、框架流程 从各种来源取消息 -&amp;gt; 流式系统（分布式流通，计算任务，业务等）-&amp;gt; 输出（后面具体业务UI等） 1、Storm Storm 实时计算框架 为了容错性，每个节点都要返回ack，可以理解为消息是否正确处理，因此导致吞吐量不高。 特...
【独家】一文读懂大数据计算框架与平台
weixin_34049948的博客
05-01 1330
1.前言 计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台计算机完成，而只能由多台机器共同承担计算任务。而在分布式环境中进行大数据处理，除了与存储系统打交道外，还涉及计算任务的分工，...
计算矩阵连乘积的备忘录算法c++代码
03-30
以下是计算矩阵连乘积的备忘录算法的C代码： ```c #include #include #define MAX_SIZE 100 int matrix[MAX_SIZE][MAX_SIZE]; // 存储矩阵的维数 int memo[MAX_SIZE][MAX_SIZE]; // 存储已计算过的中间结果 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值