huguoping830623的专栏

一、flume配置 flume要求1.6以上版本 flume-conf.properties文件配置内容，sinks的输出作为kafka的product a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r

一、linux手动安装sbt过程 1、下载sbt通用平台压缩包 http://www.scala-sbt.org/download.html 2、解压文件 tar zxvf sbt-0.13.5.tgz -C /opt/scala/ 3、建立启动sbt的脚本文件 cd /opt/scala/sbt/ vim sbt 在sbt文本文件中添加  BT_OPTS="-Xms51

1、下载kafka-offset-console jar包   https://github.com/quantifind/KafkaOffsetMonitor 2、建 vi  mobile_start_en.sh #!/bin/bash java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.of

一、flume和kafka整合请参照 http://blog.csdn.net/huguoping830623/article/details/48138319 二、示例 package com.hgp.kafka.kafka; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator;

package com.ymm.KafkaConsumLog; import kafka.api.FetchRequest; import kafka.api.FetchRequestBuilder; import kafka.api.PartitionOffsetRequestInfo; import kafka.common.ErrorMapping; import kafk