这个项目主题思路是:
手机客户端会收集用户的行为事件(我们以点击事件为例),将数据发送到数据服务器,我们假设这里直接进入到Kafka消息队列
后端的实时服务会从Kafka消费数据,将数据读出来并进行实时分析,这里选择Spark Streaming,因为Spark Streaming提供了与Kafka整合的内置支持
经过Spark Streaming实时计算程序分析,将结果写入Redis,可以实时获取用户的行为数据,并可以导出进行离线综合统计分析
需要用到的工具:
安装zookeer:
http://blog.csdn.net/w3045872817/article/category/7231592
安装redis:
http://blog.csdn.net/w3045872817/article/details/78728946
安装kafka:
http://blog.csdn.net/w3045872817/article/category/7231591
安装spark:
http://blog.csdn.net/w3045872817/article/