帮助大家在业务上面快速使用Storm,相信学完之后可以直接面对生成环境的问题,解决问题,优化结构。项目使用Storm0.9.1+Kafka0.8.1.1+Zookeeper锁+Memcached+mysql架构,从集群搭建到集群连通性测试,从 项目分析到数据库设计,从需求到Topology和Bolt的设计,从Coding到代码优化,从性能到安全性考虑,全方位系统的讲解一个Storm项目案例。
先给大家介绍一下大数据学习步骤:
一、入门
安装storm集群,运行示例工程,明白什么是流处理,明白spout,bolt;手动实现Storm客户端API,自己编写场景实现。
二、上手
了解Storm的Bolt,spout运行过程,storm等进程启动过程,可以参照JStorm加深对Storm的理解;了解Storm周边,比如Kafka等组件。
三、深入
学习coljure;阅读storm代码;深入学习其他CEP产品。
大数据storm需要掌握的技术如下:
1、storm+kafka环境搭建-1
storm+kafka环境搭建-1 ,storm0.9.1+kafka0.8.1
2、storm+kafka环境搭建-2
storm+kafka环境搭建-2,storm0.9.1+kafka0.8.1环境搭建
3、storm+kafka环境搭建-3
4、项目分析
storm实战项目-项目分析
5、kafka producer测试
6、storm整合kafka
storm整合kafka,引入storm-kafka插件
7、storm和kafka整合项目测试
8、storm 订单有效性检查
9、storm 数据修正
10、storm 数据业务入库处理-1
11、storm 数据业务入库处理-2
12、storm 数据定时存库处理
13、入库mysql并进行测试和bug修复-1
14、入库mysql并进行测试和bug修复-2
15、优化数据结构-确保数据不丢失
16、zookeeper锁机制
17、增加zookeeper锁,保证多线程同时处理数据-1
18、增加zookeeper锁,保证多线程同时处理数据-2
学习地址:http://edu.51cto.com/course/course_id-1274.html