1. 首先得确保Flume能接受到数据和输出数据,所以源头监控log文件,输出在控制台
2. 确保kafka接受到数据并能通过consumer消费到,控制台输出
3.对接Flume和Kafka,将Flume的输出改为Kafka , 测试能否在Kafka处输出
4.SparkStreaming测试程序,测试能否接受到kafka数据并在控制台输出
5.编写sparkStreaming 处理逻辑, 并输出到hbase
1. 首先得确保Flume能接受到数据和输出数据,所以源头监控log文件,输出在控制台
2. 确保kafka接受到数据并能通过consumer消费到,控制台输出
3.对接Flume和Kafka,将Flume的输出改为Kafka , 测试能否在Kafka处输出
4.SparkStreaming测试程序,测试能否接受到kafka数据并在控制台输出
5.编写sparkStreaming 处理逻辑, 并输出到hbase