在风中寻找 从清晨到日暮

将多个lo多个logs服务上的flume-sink和hdfs

使用maven工具，创建简单的WordCount项目用hadoop map-reduce做分析首先创建目录结构 src/main/java/com/xueyu/MyWordCount.java 存放JAVA源文件然后创建maven配置文件pom .xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs

今天遇到问题，kafka的producer是的类型，却始终报错，[2015-01-14 15:10:22,837] ERROR Error serializing message for topic haidafu (kafka.producer.async.DefaultEventHandler)java.lang.ClassCastException: java.lang.String

flume-ng本身支持的sink没有postgresql数据库的，正好现在有这样的需求，将日志记录按字段分隔存储到数据库中，所以自定义这样一个sink，用JAVA开发使用flume-ng提供的一些sdk和jar包，数据库映射相关采用mybatis，直接上程序该实例程序用tail -F 监听文件，对新输入的每一行日志记录，用空格切分，取第一个字符串在控制台输出并存入数据库