Storm学习 day02

今天，我继续学习了Storm。先是复习了之前学过的内容，然后学习了Pv-案例、Uv-案例、整合kafka案例。
总结一下：
1.实时计算网站PV案例
1）需求
统计网站pv。
PV（page views）：count（session_id）即页面浏览量。
2）需求分析
方案一
定义static long pv，Synchronized控制累计操作。（不可行）
原因：Synchronized和Lock在单JVM下有效，但在多JVM下无效。
方案二
shuffleGrouping下，pv * Executer并发数。
优点：简单、计算量小。
缺点：稍有误差，但绝大多数场景能接受。
方案三
PVBolt1进行多并发局部汇总，PVSumbolt单线程进行全局汇总。
线程安全：多线程处理的结果和单线程一致
优点：绝对准确；如果用filedGrouping可以得到中间值，如单个user的访问PV（访问深度等）。
缺点：计算量稍大，且多一个Bolt。
2.实时计算网站UV去重案例
1）需求
统计网站UV。
2）需求分析
方案一
把ip放入Set实现自动去重，Set.size()获得UV（分布式应用中不可行）。
方案二
UVBolt1通过fieldGrouping进行多线程局部汇总，下一级UVSumBolt进行单线程全局汇总去重。按ip地址统计UV数。
既然去重，必须持久化数据：
（1）内存：数据结构map。
（2）no-sql分布式数据库，如Hbase。
3.离线计算是什么？
离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示。
代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据。
4.流式计算是什么？
流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示。
代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储（mysql）。
离线计算与实时计算最大的区别：实时收集、实时计算、实时展示。