- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flume对接kafka，模拟生产者实时生产数据
flume对接kafka，模拟生产者实时生产数据引言flume可以实时的监控日志，日志每增加一条，flume都会感知到，然后可以将这条新的数据传到kafka上，实际生产中，用户的每个行为，生成一条数据，存到日志或数据库中，然后使用flume来从日志中拉起数据。任务：用shell脚本模拟用户行为每秒十条生成的数据存入到日志中，flume拉起日志中的数据传入kafka已有数据：cmcc.jso...
2018-12-22 20:51:22
1790
原创 zookeeper是如何进行维护offset
zookeeper是如何进行维护offset引言： SparkStreaming消费kafka有两种方式，分别是Receiver方式和Direct方式，Receiver可以自己去维护偏移量offset，Direct方式是Executer直接对接kafka进行消费数据，即用即读即丢，sparkStream会产生和topic中partition相同多的RDD，提高了效率，节省了资源，需要手动去维...
2018-12-22 20:29:02
3635
原创 Scala的引用
普通数据类型无引用 var x = 1 var y = x y = 2 println(x,"hashCode值：",x.hashCode()) println(y,"hashCode值：",y.hashCode()) //结果 (1,hashCode值：,1) (2,hashCode值：,2)List和Seq无引用 var x: mutable.S...
2018-12-12 22:06:36
712
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人