kafka spring 实例

最新推荐文章于 2024-11-14 22:44:50 发布
最新推荐文章于 2024-11-14 22:44:50 发布
阅读量98 收藏
点赞数
分类专栏： spring kafka 文章标签： kafka spring 配置

kafka  spring    demo

下载：http://download.csdn.net/download/knight_black_bob/9709057 

 

 安装详解 ：http://knight-black-bob.iteye.com/blog/2343192

 

 使用定时器发送后  结果如下

 



 

 

 

kafka 代码安装 

15.安装kafka
cd /usr/local/
wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz
tar xf kafka_2.10-0.10.0.0.tgz
ln -s /usr/local/kafka_2.10-0.10.0.0 /usr/local/kafka
chown -R hdfs:hadoop /usr/local/kafka_2.10-0.10.0.0 /usr/local/kafka
chown -R root:root /usr/local/kafka_2.10-0.10.0.0 /usr/local/kafka

/usr/local/zookeeper/bin/zkCli.sh
create /kafka ''

vim /usr/local/kafka/config/server.properties
broker.id=0
zookeeper.connect=dev10.aoiplus.openpf:2181,dev06.aoiplus.openpf:2181,dev05.aoiplus.openpf:2181/kafka

scp -r /usr/local/kafka_2.10-0.10.0.0.tgz root@dev05.aoiplus.openpf:/usr/local/
scp -r /usr/local/kafka_2.10-0.10.0.0.tgz root@dev06.aoiplus.openpf:/usr/local/

scp -r /usr/local/kafka/config/server.properties root@dev05.aoiplus.openpf:/usr/local/kafka/config/server.properties
scp -r /usr/local/kafka/config/server.properties root@dev06.aoiplus.openpf:/usr/local/kafka/config/server.properties

master slave 启动
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
创建topic
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper dev10.aoiplus.openpf:2181,dev06.aoiplus.openpf:2181,dev05.aoiplus.openpf:2181/kafka --replication-factor 3 --partitions 5 --topic baoy-topic
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper dev10.aoiplus.openpf:2181,dev06.aoiplus.openpf:2181,dev05.aoiplus.openpf:2181/kafka --topic baoy-topic


/usr/local/kafka/bin/kafka-console-producer.sh --broker-list dev10.aoiplus.openpf:9092,dev05.aoiplus.openpf:9092,dev06.aoiplus.openpf:9092 --topic baoy-topic

/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper dev10.aoiplus.openpf:2181,dev05.aoiplus.openpf:2181,dev06.aoiplus.openpf:2181/kafka --from-beginning --topic baoy-topic

 

 

安装完成 后测试 

productor

 consumer

 

 

spring 接受信息

 代码部分

applicationContext-kafka-productor.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:int="http://www.springframework.org/schema/integration"
    xmlns:int-kafka="http://www.springframework.org/schema/integration/kafka"
    xmlns:task="http://www.springframework.org/schema/task"
    xsi:schemaLocation="http://www.springframework.org/schema/integration/kafka 
                        http://www.springframework.org/schema/integration/kafka/spring-integration-kafka.xsd
                        http://www.springframework.org/schema/integration 
                        http://www.springframework.org/schema/integration/spring-integration.xsd
                        http://www.springframework.org/schema/beans 
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.springframework.org/schema/task 
                        http://www.springframework.org/schema/task/spring-task.xsd">

    <!-- commons config -->
    <bean id="stringSerializer" class="org.apache.kafka.common.serialization.StringSerializer" />
    <bean id="kafkaEncoder"  class="org.springframework.integration.kafka.serializer.avro.AvroReflectDatumBackedKafkaEncoder">
        <constructor-arg value="java.lang.String" />
    </bean>
    <bean id="producerProperties"
        class="org.springframework.beans.factory.config.PropertiesFactoryBean">
        <property name="properties">
            <props>
                <prop key="topic.metadata.refresh.interval.ms">3600000</prop>
                <prop key="message.send.max.retries">5</prop>
                <prop key="serializer.class">kafka.serializer.StringEncoder</prop>
                <prop key="request.required.acks">1</prop>
            </props>
        </property>
    </bean>

    <!-- topic test config -->

    <int:channel id="pChannel">
        <int:queue />
    </int:channel>

    <int-kafka:outbound-channel-adapter
        id="kafkaOutboundChannelAdapterProductor" 
        kafka-producer-context-ref="producerContext"  
        auto-startup="true" 
        channel="pChannel" 
        order="3">
        <int:poller fixed-delay="1000" time-unit="MILLISECONDS"  receive-timeout="1" task-executor="taskProductorExecutor" />
    </int-kafka:outbound-channel-adapter>
    
    <task:executor id="taskProductorExecutor" pool-size="5" keep-alive="120" queue-capacity="500" />
   
    <int-kafka:producer-context id="producerContext" producer-properties="producerProperties">
        <int-kafka:producer-configurations> 
            <int-kafka:producer-configuration
                broker-list="172.23.27.120:9092,172.23.27.115:9092,172.23.27.116:9092" 
                key-serializer="stringSerializer"
                value-class-type="java.lang.String" 
                value-serializer="stringSerializer"
                topic="baoy-topic" />
        </int-kafka:producer-configurations>
    </int-kafka:producer-context>
</beans>

 

applicationContext-kafka-consumer.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:int="http://www.springframework.org/schema/integration"
    xmlns:int-kafka="http://www.springframework.org/schema/integration/kafka"
    xmlns:task="http://www.springframework.org/schema/task"
    xsi:schemaLocation="http://www.springframework.org/schema/integration/kafka 
                        http://www.springframework.org/schema/integration/kafka/spring-integration-kafka.xsd
                        http://www.springframework.org/schema/integration 
                        http://www.springframework.org/schema/integration/spring-integration.xsd
                        http://www.springframework.org/schema/beans 
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.springframework.org/schema/task 
                        http://www.springframework.org/schema/task/spring-task.xsd">

    <!-- topic test conf -->
    <int:channel id="cChannel">
        <int:dispatcher task-executor="kafkaMessageExecutor" />
    </int:channel>
    <!-- zookeeper配置 可以配置多个 -->
    <int-kafka:zookeeper-connect id="zookeeperConnect"
        zk-connect="172.23.27.120:2181,172.23.27.115:2181,172.23.27.116:2181/kafka" zk-connection-timeout="6000"
        zk-session-timeout="6000" zk-sync-time="2000" />
    <!-- channel配置 auto-startup="true" 否则接收不发数据 -->
    <int-kafka:inbound-channel-adapter
        id="kafkaInboundChannelAdapter" kafka-consumer-context-ref="consumerContext"
        auto-startup="true" channel="cChannel">
        <int:poller fixed-delay="1" time-unit="MILLISECONDS" />
    </int-kafka:inbound-channel-adapter>
    <task:executor id="kafkaMessageExecutor" pool-size="8" keep-alive="120" queue-capacity="500" />
    <bean id="kafkaDecoder" class="org.springframework.integration.kafka.serializer.common.StringDecoder" />

    <bean id="consumerProperties"
        class="org.springframework.beans.factory.config.PropertiesFactoryBean">
        <property name="properties">
            <props>
                <prop key="auto.offset.reset">smallest</prop>
                <prop key="socket.receive.buffer.bytes">10485760</prop> <!-- 10M -->
                <prop key="fetch.message.max.bytes">5242880</prop>
                <prop key="auto.commit.interval.ms">1000</prop>
            </props>
        </property>
    </bean>
    <!-- 消息接收的BEEN -->
    <bean id="kafkaConsumerService" class="com.curiousby.baoy.cn.kafka.KafkaConsumerService" />
    <!-- 指定接收的方法 -->
    <int:outbound-channel-adapter channel="cChannel"  ref="kafkaConsumerService" method="process" />

    <int-kafka:consumer-context id="consumerContext"
        consumer-timeout="1000" zookeeper-connect="zookeeperConnect"
        consumer-properties="consumerProperties">
        <int-kafka:consumer-configurations>
            <int-kafka:consumer-configuration
                group-id="default" value-decoder="kafkaDecoder" key-decoder="kafkaDecoder"
                max-messages="5000"> 
                <int-kafka:topic id="baoy-topic" streams="5" /> 
            </int-kafka:consumer-configuration>
        </int-kafka:consumer-configurations>
    </int-kafka:consumer-context>
</beans>

 

KafkaConsumerService

@Service
public class KafkaConsumerService {

    
    public void process(Map<String, Map<Integer, String>> msgs) {
        for (Map.Entry<String, Map<Integer, String>> entry : msgs.entrySet()) {
            System.out.println("======================================Consumer Message received: ");
            System.out.println("=====================================Suchit Topic:" + entry.getKey());
            for (String msg : entry.getValue().values()) {
                System.out.println("================================Suchit Consumed Message: " + msg);
            }
        }
    }

}

 

KafkaProductorService

 @Service
public class KafkaProductorService {

    
    @Autowired
    @Qualifier("pChannel")
    private MessageChannel messageChannel;

     
    public void sendInfo(String topic, Object obj) {
        System.out.println("---Service:KafkaService------sendInfo------"); 
        messageChannel.send(MessageBuilder.withPayload(obj).setHeader(KafkaHeaders.TOPIC,topic).build());
    }
    
}

 

pom

 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.curiousby.baoyou.cn</groupId>
  <artifactId>SpringKafkaDEMO</artifactId>
  <packaging>war</packaging>
  <version>0.0.1-SNAPSHOT</version>
  <name>SpringKafkaDEMO Maven Webapp</name>
  <url>http://maven.apache.org</url>
  

	<!-- properties constant -->
	<properties> 
        <spring.version>4.2.5.RELEASE</spring.version>
    </properties>

    <dependencies>
        <!-- junit4 -->
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.7</version>
			<type>jar</type>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.dbunit</groupId>
			<artifactId>dbunit</artifactId>
			<version>2.4.9</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>com.github.springtestdbunit</groupId>
			<artifactId>spring-test-dbunit</artifactId>
			<version>1.1.0</version>
			<scope>test</scope>
		</dependency>
		 <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>${spring.version}</version>
            <scope>test</scope>
        </dependency>
		 
		 
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>javax.servlet-api</artifactId>
            <version>3.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
			<groupId>org.aspectj</groupId>
			<artifactId>aspectjrt</artifactId>
			<version>1.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.aspectj</groupId>
			<artifactId>aspectjweaver</artifactId>
			<version>1.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.springframework</groupId>
			<artifactId>spring-aspects</artifactId>
			<version>${spring.version}</version>
			<type>jar</type>
		</dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-web</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.integration</groupId>
            <artifactId>spring-integration-kafka</artifactId>
            <version>1.3.0.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.1.1</version>
        </dependency>
      <dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-api</artifactId>
			<version>1.6.4</version>
			<type>jar</type>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
			<version>1.6.4</version>
			<type>jar</type>
		</dependency>
        <dependency>
            <groupId>javax</groupId>
            <artifactId>javaee-api</artifactId>
            <version>7.0</version>
        </dependency>
       <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.7.6</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.7.6</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>2.7.6</version>
        </dependency>
     
        <dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.7.7</version>
        </dependency>

	</dependencies>
	<build>
		<finalName>SpringKafkaDEMO</finalName>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.3</version>
				<dependencies>
					<dependency>
						<groupId>org.codehaus.plexus</groupId>
						<artifactId>plexus-compiler-javac</artifactId>
						<version>2.5</version>
					</dependency>
				</dependencies>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
					<encoding>UTF-8</encoding>
					<compilerArguments>
						<verbose />
						<bootclasspath>${java.home}/lib/rt.jar:${java.home}/lib/jce.jar</bootclasspath>
					</compilerArguments>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

 

 遇到的问题：

1. spring 中 日志 中的 logback  必须 保持一致   ，这里我使用 org.slf4j 1.6.4 

<groupId>org.slf4j</groupId>
			<artifactId>slf4j-api</artifactId>
			<version>1.6.4</version>
			<type>jar</type>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
			<version>1.6.4</version>
			<type>jar</type>
		</dependency>

 

 2. hosts 问题，之前一直 有连接 连不同， zookeeper 使用 172.23.27.120:2181,172.23.27.115:2181,172.23.27.116:2181 。是可以连通，但这不是我需要的 ，我需要的是172.23.27.120:2181,172.23.27.115:2181,172.23.27.116:2181/kafka ，，

然后 配置成172.23.27.120:2181,172.23.27.115:2181,172.23.27.116:2181/kafka 就报错，怎么也 不成功，之后 配置172.23.27.120:2181,172.23.27.115:2181,172.23.27.116:2181/kafka的时候发现是 域名了，然后联不通，在本地添加 hosts　就可以解决该问题了。

 

 3.使用 jar 包

  <dependency>
            <groupId>org.springframework.integration</groupId>
            <artifactId>spring-integration-kafka</artifactId>
            <version>1.3.0.RELEASE</version>
        </dependency>

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。 当然，有钱捧个钱场（右上角的爱心标志，支持支付宝和PayPal捐助），没钱捧个人场，谢谢各位。



 
 
 谢谢您的赞助，我会做的更好！

 

 

 

curiousby
关注
专栏目录
spring整合kafka实例
八荒六合唯我独尊
05-26 4122
1.依赖jar <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v
最简单的 spring 整合 kafka 例子
热门推荐
小浩子的博客
04-03 1万+
这周到联调阶段，回顾项目的开发，之前在spring跟kafka这块吃了不少亏，网上的资料太繁琐、配置好了还各种报错，我今天整理一个最最简单的demo，以供参考。 前提条件： 安装zookeeper，下载解压，更改配置文件名称、配置环境变量，启动即可，资料比较全，搜一下就有 安装kafka， 更简单，下载解压，启动即可 jdk8 + 的环境，现在的spring基本指spring boot 在kaf...
spring kafka demo (详解 可以跑通)
12-12
spring kafka demo (详解 可以跑通) http://knight-black-bob.iteye.com/blog/2344424
Spring kafka 整合示例
chuhui1765的博客
11-24 182
一、环境搭建 本人测试环境为：win7 64, Kafka 0.10.0.1 ， Spring 4.3.4.RELEASE, Zookeeper 3.4.6 Kafka 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10...
kafka spring 实例
weixin_34406086的博客
12-16 75
使用定时器发送后 结果如下kafka 代码下载Java代码15.安装kafkacd/usr/local/wgethttp://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgztarxfkafka_2.10-0.10.0.0.tgzln-s/usr/loca...
springMVC+多线程+kafka的 demo基于maven
07-07
多次整理精简，得出基于maven 的springmvc 框架搭载 ：多线程（线程池式）和 kafka（集群下生产者消费者）；demo 下载导入改下kafka集群IP地址即可使用。
Spring纯Java配置集成kafka代码实例
08-25
主要介绍了Spring纯Java配置集成kafka代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
spring boot整合spring-kafka实现发送接收消息实例代码
08-30
Spring Boot 整合 Spring-Kafka 实现发送接收消息实例代码 Spring Boot 是一个基于 Java 的开源框架，它提供了一个灵活的方式来构建 Web 应用程序。Spring-Kafka 是一个基于 Apache Kafka 的消息队列组件，提供了...
spring boot与kafka集成的简单实例
08-29
Spring Boot 与 Kafka 集成的简单实例 Spring Boot 是一个基于 Java 的框架，用于快速构建生产级别的应用程序，而 Kafka 是一个分布式流媒体平台，用于高吞吐量、可扩展的数据处理。今天，我们将介绍如何使用 ...
spring-boot-starter-kafka示例程序
03-04
spring-boot-starter-kafka示例程序\n 支持springcloud1.5.4，kafka0.8.2.x\n 项目地址：https://github.com/zhyea/spring-boot-starter-kafka
Spring整合Kafka的java例子demo
DRD
06-03 3733
Spring整合Kafka的java例子demo前提代码maven生产者KfkSpringProducer.java消费者KfkConsumerListener.java配置文件spring-kafka.xml运行 前提 zookeeper和kafka的win10下单机伪集群请参考： https://blog.csdn.net/sndayYU/article/details/90718238 ht...
spring+Kafka+springmvc Demo
wu18296184782的博客
05-02 1万+
一、下载(官网下载:http://kafka.apache.org/downloads.html)   任意下载一个zip二、制作demo示例，spring+springmvc+Kafka开发前请先安装zookeeper，传送门                                              1. 启动kafka服务：安装目录下.\bin\windows\kafka-se...
springboot-kafka一个简单例子
天堂地址不详
06-03 2446
1、引入springboot-kafka的jar包依赖。2、在application.properties添加配置信息，本机安装的kafka的ip和端口号，9092默认端口。消费者的组名称。3、创建生产者服务，声明成spring组件，注入KafkaTemplate，send方法的第一个参数是topic的名称，第二个参数是数据。4、创建消费者服务，开启监听，如果获取到数据，则输出接受到的数据。5、创...
spring kafka 使用案例
u011556070的博客
06-02 309
/** * Represents kafka config. */ @Data @Configuration @EnableKafka @ConfigurationProperties(prefix = "kafka", ignoreUnknownFields = false) @ConditionalOnProperty(name = "deploy.enabled-kafka", havingValue = "true") public class KafkaConfig { private
Spring-kafka入门使用Demo(超详细)---------无授权认证方式
a090300的博客
08-16 2901
Spring-kafka入门使用Demo(超详细)---无安全认证
java kafka spring_Spring纯Java配置集成kafka代码实例
weixin_34445112的博客
02-24 308
这篇文章主要介绍了Spring纯Java配置集成kafka代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下KafkaConfig.javapackage com.niugang.config;import java.util.HashMap;import java.util.Map;import org.apache.kafka.clien...
kafka环境搭建+spring-kafka-demo测试
programmeryu的博客
08-01 5143
kafka环境搭建1-单机 kafka是基于scala语言开发，所以需要java运行环境，下载前请先确认是否已经安装并配置java环境 下载安装 下载 最新版的kafka软件 wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz 解压缩 tar -xzf kafka_2.11-0.9.0.0.tgz ...
Kafka简单实践
最新发布
学习,分享一直在路上
11-14 1078
Kafka 是一个分布式的流处理平台，设计用来处理实时数据流。主题（Topic）：Kafka 中的数据流分类，消费者可以通过订阅主题来接收消息。生产者（Producer）：向主题发布消息的客户端。消费者（Consumer）：从主题读取消息的客户端。消费者组（Consumer Group）：多个消费者可以组成一个消费者组，共享读取同一主题的消息。代理（Broker）：Kafka 集群中的服务器，负责存储消息和处理请求。
通过Docker部署Kafka单节点并集成SpringBoot实例
在Docker中运行Kafka需要首先启动一个Zookeeper实例，因为Kafka依赖于Zookeeper来管理集群的状态和配置信息。Zookeeper是一个开源的分布式协调服务，它为分布式应用提供一致性服务。 ### Spring Boot集成Kafka ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值