- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据学习四-kafka生产数据、消费数据、结果存入redis流程
1.统一化管理配置 kafka.topic="topic5" kafka.group.id="kafka_group" kafka.broker.list="192.168.44.132:9092" redis.host="192.168.44.132" redis.db=1 redis.port=6379 kafka.checkpointdir="F:\\Bigdata\\checkpoin...
2020-03-31 00:22:14
1514
原创 大数据学习三：sparkstreaming中关于mapWithState、updateStateByKey、offset的学习
1.updateStateByKey 代码如下： //消费者配置，及读取日志过程省略.......... //输出数据格式，例如(20200328224742，(1,858,1)) li=(time,(flag.toInt,flag.toInt*fee.toInt,1)) // 这里是以时间为K，将K一样的V聚集成一个列表seq,当前K对应的状态V为state，然后只对V做运算，输出...
2020-03-30 02:14:46
401
原创 大数据学习二：sparkstreaming中关于Window窗体相关操作
1.窗口概念 1.1、.SparkStreaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的rdds。 1.2、每个滑动窗口操作都包含两个参数windowLength（窗口大小）, slideInterval（窗口移动速率参数，即多久滑动...
2020-03-27 22:46:39
561
原创 大数据学习一：大数据（离线分析）-spark写入Hbase、mysql过程
1.过程说明： 数据为某网站的访问日志，格式如下： 110.85.18.234 - - [30/Jan/2019:00:00:21 +0800] "GET /course/list?c=cb HTTP/1.1" 200 12800 "www.imooc.com" "https://www.imooc.com/course/list?c=data" - "Mozilla/5.0 (Windows N...
2020-03-23 20:08:13
1046
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人