关注
分享
Wynne 赵文越
毕业于上海交通大学，具有10年以上的工作经验。精通ORACLE数据库和Python数据处理以及大数据hadoop、流数据spark、图计算等领域。曾服务于中国电信研究院、江西省农商银行、银联、中国工商银行等大型企事业机构。曾获高校高等数学竞赛省二等奖、全国舞蹈机器人大赛一等奖、全国研究生数学竞赛二等奖、省三好学生、优秀毕业生等荣誉奖项，发表专利若干。
展开
-
什么是流式计算
一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么多数据的实时性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下，如果我们仍旧采用传统的数据处理方式，统一收集数据，存储到数据库中，之后在进行分析，就可能无法满足时效性的要求。...转载 2020-02-04 13:27:47 · 1385 阅读 · 0 评论 -
流式计算的特点
1)实时性。流式大数据不仅是实时产生的，也是要求实时给出反馈结果。系统要有快速响应能力，在短时间内体现出数据的价值，超过有效时间后数据的价值就会迅速降低。2)突发性。数据的流入速率和顺序并不确定，甚至会有较大的差异。这要求系统要有较高的吞吐量，能快速处理大数据流量。3)易失性。由于数据量的巨大和其价值随时间推移的降低，大部分数据并不会持久保存下来，而是在到达后就立刻被使用并丢弃。系统对这些...转载 2020-02-04 12:12:04 · 4841 阅读 · 0 评论