![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm
整理关于storm的文档,代码,案例
IT change the world
随着风不断前行
展开
-
ETL数据清洗
1.需求:数据来源各种各样,大量的数据中难免会有脏数据,我们需要将脏数据清洗掉,提高数据的准确度。本次要将字段缺失的数据过滤掉,只留下保存度完整的数据。2.项目开发: (1)清洗数据类:package com.xnmzdx.mapreduce.etl;import java.io.IOException;import org.apache.hadoop.io.LongWr...原创 2020-04-13 21:13:48 · 531 阅读 · 0 评论 -
Storm实时订单分析项目
一.项目需求实时分析某电商网站产生的订单数据。分析订单的有效订单量、订单总金额、优惠后总金额、下单用户数。二.使用主要技术Kafka,Storm,Zookeeper,Redis,MySql三.项目架构架构解析:从web端获取数据订单数据,存入kafka中,storm处理订单数据,在kafka中读取数据,将处理完成的数据写入redis和mysql中四.项目开发:模...原创 2020-04-13 20:57:01 · 806 阅读 · 2 评论