大数据平台
Anida_qin
算法工程师,关注机器学习,深度学习领域。CV&NLP&挖掘
展开
-
大数据平台学习(一)实时计算框架和存储
一、计算框架Storm,Spark,Flink简介和区别参考:https://www.jianshu.com/p/16323566f3c60、框架流程从各种来源取消息 -> 流式系统(分布式流通,计算任务,业务等)-> 输出(后面具体业务UI等)1、StormStorm 实时计算框架为了容错性,每个节点都要返回ack,可以理解为消息是否正确处理,因此导致吞吐量不高。特...原创 2019-02-28 17:55:04 · 2000 阅读 · 0 评论 -
大数据平台相关链接
Flink 相关社区(https://flink-china.org/index.html)美团Flink 实时数仓(https://www.jianshu.com/p/1f66be648b02)严选Flink 实时数仓(https://www.codercto.com/a/47662.html)一些专业缩写和解释https://www.cnblogs.com/yangsy0915...原创 2019-08-21 10:00:58 · 122 阅读 · 0 评论 -
大数据平台相关链接
Flink 相关社区(https://flink-china.org/index.html)美团Flink 实时数仓(https://www.jianshu.com/p/1f66be648b02)严选Flink 实时数仓(https://www.codercto.com/a/47662.html)一些专业缩写和解释https://www.cnblogs.com/yangsy0915...原创 2019-03-19 16:51:52 · 137 阅读 · 0 评论 -
大数据 — 存储相关技术
文件系统HDFS https://blog.csdn.net/skisqibao/article/details/82990636将一个超级大的文件,分布式存储到不同的服务器上。数据库Hbase https://blog.csdn.net/volitationlong/article/details/82385361消息中间件概念介绍 https://blog.csdn.net/...原创 2019-04-01 20:53:15 · 389 阅读 · 0 评论