Storm
hsiehchou
这个作者很懒,什么都没留下…
展开
-
Storm基础
Storm基础流式计算专题 批量计算、实时计算、离线计算、流式计算共同点: 数据源 –> 采集数据 –> task worker –> task worker –> sink 输出批量计算和流式计算 区别: 处理数据粒度不一样批量计算每次处理一定大小的数据块。流式计算,每次处理一条记录流式计算可以提供类似批量计算的功能,为什么我们还要...原创 2019-06-01 18:44:52 · 313 阅读 · 0 评论 -
Storm集群和集成
Storm集群和集成一、Storm集群任务提交流程二、Storm内部通信机制三、集成Storm1、与JDBC集成将Storm Bolt处理的结果插入MySQL数据库中需要依赖的jar包 $STORM_HOME\external\sql\storm-sql-core*.jar $STORM_HOME\external\storm-jdbc\storm-jdbc-...原创 2019-06-01 18:45:40 · 216 阅读 · 0 评论 -
Storm练习
Storm练习一、需求需求:统计网站访问量(实时统计)技术选型:特点(数据量大、做计算、实时)实时计算框架:storm 1)spout 数据源,接入数据 本地文件2)bolt 业务逻辑处理 切分数据 查到网址3)bolt 累加次数求和二、代码编写PvCountSpout.javapackage com.hsiehch...原创 2019-06-01 18:46:30 · 327 阅读 · 0 评论