流数据
Wynne 赵文越
毕业于上海交通大学,具有10年以上的工作经验。精通ORACLE数据库和Python数据处理以及大数据hadoop、流数据spark、图计算等领域。曾服务于中国电信研究院、江西省农商银行、银联、中国工商银行等大型企事业机构。曾获高校高等数学竞赛省二等奖、全国舞蹈机器人大赛一等奖、全国研究生数学竞赛二等奖、省三好学生、优秀毕业生等荣誉奖项,发表专利若干。
展开
-
什么是流式计算
一、流式计算的背景在日常生活中,我们通常会先把数据存储在一张表中,然后再进行加工、分析,这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据,那么多数据的实时性要求并不高;但如果我们处理的是以天、小时,甚至分钟为单位的数据,那么对数据的时效性要求就比较高。在第二种场景下,如果我们仍旧采用传统的数据处理方式,统一收集数据,存储到数据库中,之后在进行分析,就可能无法满足时效性的要求。...转载 2020-02-04 13:27:47 · 1438 阅读 · 0 评论 -
流式计算的特点
1)实时性。流式大数据不仅是实时产生的,也是要求实时给出反馈结果。系统要有快速响应能力,在短时间内体现出数据的价值,超过有效时间后数据的价值就会迅速降低。2)突发性。数据的流入速率和顺序并不确定,甚至会有较大的差异。这要求系统要有较高的吞吐量,能快速处理大数据流量。3)易失性。由于数据量的巨大和其价值随时间推移的降低,大部分数据并不会持久保存下来,而是在到达后就立刻被使用并丢弃。系统对这些...转载 2020-02-04 12:12:04 · 4968 阅读 · 0 评论