kafka+spark Streaming+redis小项目

原创 2017年12月06日 11:49:27
这个项目主题思路是:
    手机客户端会收集用户的行为事件(我们以点击事件为例),将数据发送到数据服务器,我们假设这里直接进入到Kafka消息队列
    后端的实时服务会从Kafka消费数据,将数据读出来并进行实时分析,这里选择Spark Streaming,因为Spark Streaming提供了与Kafka整合的内置支持
    经过Spark Streaming实时计算程序分析,将结果写入Redis,可以实时获取用户的行为数据,并可以导出进行离线综合统计分析

需要用到的工具:
安装zookeer:
http://blog.csdn.net/w3045872817/article/category/7231592
安装redis:
http://blog.csdn.net/w3045872817/article/details/78728946
安装kafka:
http://blog.csdn.net/w3045872817/article/category/7231591
安装spark:
http://blog.csdn.net/w3045872817/article/details/78289805
redis客户端管理工具:
https://redisdesktop.com/

kafka客户端管理工具:
http://www.kafkatool.com/download.html

项目的github路径:https://github.com/Ericjeff/kafka-sparkStreaming-redis

flume-kafka- spark streaming(pyspark) - redis 实时日志收集实时计算

鉴于实在是比较少python相关是spark streaming的例子,对于自己实现的测试例子分享上来一起讨论。强烈建议scala去写spark streaming程序,python资料太少,翻遍gi...

json4s+rediscala实现kafka到spark streaming到redis

目标1.了解需求 网上有很多这种入门的demo,主要是一个实时计算手机点击率,在redis中存入手机的unid和点击数 我写这篇文章也是看到了别人写的,不过他们主要用的是JSONObject和je...

Kafka+Spark Streaming+Redis实时计算整合实践

http://shiyanjun.cn/archives/1097.html 基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spar...

spark streaming从指定offset处消费Kafka数据(第一种方式)

spark streaming从指定offset处消费Kafka数据

kafka+spark streaming开发文档

  • 2015年05月05日 10:10
  • 28KB
  • 下载

Spark Streaming使用Kafka保证数据零丢失

Spark Streaming使用Kafka保证数据零丢失 来自:https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md...

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka+spark Streaming+redis小项目
举报原因:
原因补充:

(最多只允许输入30个字)