flume
_bukesiyi
这个作者很懒,什么都没留下…
展开
-
flume实战记录
使用Flume关键就是写配置文件需求一:从指定网络端口采集数据输出到控制台conf的书写# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sou...原创 2018-04-18 20:44:39 · 797 阅读 · 0 评论 -
整合Flume和Kafka的综合使用
配置avro-memory-kafka#me the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = hadoop02a1.sources.r1.port =...原创 2018-04-19 16:02:16 · 298 阅读 · 0 评论 -
spark streaming 学习(和flume结合+和kafka 的结合)
spark streaming 是实时计算spark core 之类的涉及到rdd的是离线计算所以说spark即是实时计算,又有离线计算spark streaming 的第一个例子利用 nc -lk 8888 在192.168.235.128的8888端口开启一个输入消息的应用在IDEA上建立一个spark streaming的程序package com.wxa.spark.four impor...原创 2018-05-27 14:56:15 · 1099 阅读 · 0 评论