虚拟服务器接收不到消息,远程kafka通信实例，各种bug解决----虚拟机+本地电脑...-CSDN博客

为了实现远程kafka通信，我可谓是呕心沥血。期间各种bug各种调，太煎熬了 (T.T)

介绍：

我用一台虚拟机作为远程消息的发送方，用本地电脑主机作为消息的接收方

虚拟机：安装java，kafka，zookeeper

主机：eclipse，注意我没有说在主机上也要安装kafka的

1、虚拟机部署

1)下载kafka_2.11-2.2.0 我用的最新的(当前)

2)解压到 /usr/local/ ,注意切换都root，不然后面编辑不了文件

3)配置文件 kafka/config/server.properties 只用修改下面三个

稍微解释下：上面的ip都是一个，都是虚拟机ip，修改后可以在本机接收消息也可以在远程(本地电脑或者其他电脑接收)

不知道虚拟机ip？在命令行下敲 ifconfig就可以找到了

2、本地eclipse

1)新建maven工程

pom.xml 注意里面的kafka版本最好和远程对应(其他版本有可能发生错误，收不到消息)

4.0.0

hadoop

eclipseandmaven

0.0.1-SNAPSHOT

jar

eclipseandmaven

http://maven.apache.org

UTF-8

org.apache.storm

storm-kafka-client

1.1.1

org.apache.kafka

kafka-clients

2.2.0

org.apache.storm

storm-core

1.1.1

junit

3.8.1

test

建立 MainTopology.java

importorg.apache.storm.Config;importorg.apache.storm.LocalCluster;importorg.apache.storm.StormSubmitter;importorg.apache.storm.kafka.spout.KafkaSpout;importorg.apache.storm.kafka.spout.KafkaSpoutConfig;importorg.apache.storm.topology.TopologyBuilder;public classMainTopology {public static void main(String[] args) throwsException {

TopologyBuilder builder= newTopologyBuilder();//ip设置为虚拟机ip，后面的topic要和虚拟机上的一样

KafkaSpoutConfig.Builder kafkaBuilder = KafkaSpoutConfig.builder("192.168.83.133:9092","test561");//设置kafka属于哪个组

kafkaBuilder.setGroupId("testgroup");//创建kafkaspoutConfig

KafkaSpoutConfig build =kafkaBuilder.build();//通过kafkaspoutConfig获得kafkaspout

KafkaSpout kafkaSpout = new KafkaSpout(build);//设置5个线程接收数据

builder.setSpout("kafkaSpout", kafkaSpout, 5);//设置2个线程处理数据

builder.setBolt("printBolt", new PrintBolt(), 2).localOrShuffleGrouping("kafkaSpout");

Config config= newConfig();if (args.length > 0) {//集群提交模式

config.setDebug(false);

StormSubmitter.submitTopology(args[0], config, builder.createTopology());

}else{//本地测试模式

config.setDebug(true);//设置2个进程

config.setNumWorkers(2);

LocalCluster cluster= newLocalCluster();

cluster.submitTopology("kafkaSpout", config, builder.createTopology());

}

建立 PrintBolt.java

importorg.apache.storm.topology.BasicOutputCollector;importorg.apache.storm.topology.OutputFieldsDeclarer;importorg.apache.storm.topology.base.BaseBasicBolt;importorg.apache.storm.tuple.Tuple;public class PrintBolt extendsBaseBasicBolt {/*** execute会被storm一直调用

*@paramtuple

*@parambasicOutputCollector*/

public voidexecute(Tuple tuple, BasicOutputCollector basicOutputCollector) {//为了便于查看消息用err标红

System.err.println(tuple.getValue(4));

System.err.println(tuple.getValues());

}public voiddeclareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {

}

3、运行

切换到kafka安装目录

1)启动zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2)启动kafka服务