大公司的 大数据 应用
文章平均质量分 75
A3301
这个作者很懒,什么都没留下…
展开
-
Spark 在金融领域的应用——日内走势预测
作者:李涛涛 通联数据 1. 同花顺收费版之走势预测 2014年后半年开始,国内 A 股市场可谓是热火朝天啊,路上的人谈的都是股票。小弟虽然就职金融互联网公司,但之前从来没有买过股票,但每天听着别人又赚了几套房几辆车,那叫一个心痒痒啊,那感觉,就跟一个出浴美女和你共处一室,但你却要死忍住不去掀开浴巾一样。终于,小弟还是”犯了全天下男人都会犯的错误”,还是在 2015.03.19 那天入转载 2016-11-19 11:57:56 · 3263 阅读 · 0 评论 -
网易视频云:spark streaming小批量数据流处理系统
当前流行的数据流计算平台是twitter的storm,yahoo的s4等, 这些流计算平台采用record-at-a-time模型: 记录流式达到计算节点, 计算节点依据当前记录进行一定计算,更新节点内部状态,最后输出新记录给下游计算节点。 record-at-a-time模型存在如下问题: • 故障处理不足。 有复制和数据回放两种容错方式, 但是这两种方式各有不足。 复制方法消耗两倍资源,转载 2016-11-19 12:00:11 · 591 阅读 · 0 评论