读取kafka 0.8 简单例子

最新推荐文章于 2024-05-06 20:09:32 发布

ahugeduck

最新推荐文章于 2024-05-06 20:09:32 发布

阅读量4.6k

点赞数

本文链接：https://blog.csdn.net/demo_zj/article/details/46851865

版权

本文介绍了一个简单的Kafka0.8数据读取示例，主要目的是用于数据验证。通过Java编写消费者程序，利用Maven管理依赖，详细说明了如何从Kafka读取数据，包括ConsumerApp和ConsumerThread的实现，以及如何编译和运行。

摘要由CSDN通过智能技术生成

Kafka0.8和kafka0.7变化非常大，使用方式和接口class都变掉了。这里简单介绍一下0.8的kafka如何读取数据。

系统中的flume会把数据写到kafka，为了验证数据的正确性，我就写了一个读取kafka的小程序。所以这个项目的主要意义是为了做数据验证，实际的生产环境的配置会比这个复杂。

我使用的是maven管理java项目。

首先maven的dependency是这样的：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>org.iker.example</groupId>
	<artifactId>kafka.consumer</artifactId>
	<version>0.0.1</version>
	<packaging>jar</packaging>

	<name>kafka.consumer</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>3.8.1</version>
			<scope>test</scope>
		</dependency>
		<!--  -->
		
		<dependency>
			<groupId>org.scala-lang</groupId>
			<artifactId>scala-library</artifactId>
			<version>2.10</version>
		</dependency>
		<dependency>
			<groupId>log4j</groupId>
			<artifactId>log4j</artifactId>
			<version>1.2.15</version>
			<exclusions>
				<exclusion>
					<groupId>com.sun.jmx</groupId>
					<artifactId>jmxri</artifactId>
				</exclusion>
				<exclusion>
					<groupId>com.sun.jdmk</groupId>
					<artifactId>jmxtools</artifactId>
				</exclusion>
				<exclusion>
					<groupId>javax.jms</groupId&