- 博客(5)
- 资源 (3)
- 收藏
- 关注
原创 java8下spark-streaming结合kafka编程(spark 2.3 kafka 0.10)
前面有说道spark-streaming的简单demo,也有说到kafka成功跑通的例子,这里就结合二者,也是常用的使用之一。1.相关组件版本 首先确认版本,因为跟之前的版本有些不一样,所以才有必要记录下,另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。2.引入maven包 网上找了一些结合的例子,但是跟我当前版本不一样,所以根本就成功不了,所以探究了下,...
2018-06-28 14:23:11 10461 2
原创 java8实现spark streaming的wordcount
概念这里就不说了,从案例开始,惯例,hellowrod,哦不,wordcount。 要计算从一个监听 TCP socket 的数据服务器接收到的文本数据(text data)中的字数。 主体代码部分跟spark相差不大,毕竟DStream是RDD产生的模板(或者说类)。1.导入了 Spark Streaming 类 <dependency> <groupId>...
2018-06-28 14:17:25 1800
原创 kafka初探 版本0.10 java编程
之前对kafka的了解其实仅限于知道它是一个分布式消息系统,这次详细了解了下,知道了一些关键概念(topic主题、broker服务、producers消息发布者、consumer消息订阅者消费者),具体网上一大堆,这里不赘述,直接开始代码。1.引入包 <dependency> <groupId>org.apache.kafka</groupId&...
2018-06-28 14:13:27 1086
转载 Influxdb原理详解
本文属于《InfluxDB系列教程》文章系列,该系列共包括以下 18 部分:InfluxDB系列学习教程目录InfluxDB学习之InfluxDB的安装和简介InfluxDB学习之InfluxDB的基本概念InfluxDB学习之InfluxDB的基本操作InfluxDB学习之InfluxDB的HTTP API写入操作InfluxDB学习之InfluxDB数据保留策略(Retention Polic...
2018-06-27 08:57:52 2285
SSO单点登录
2016-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人