3.1 启动Kafka
3.2 创建主题
3.3 查看主题详细
3.4 生产者进程来发送消息
broker-list:定义了生产者要推送消息的broker地址,以<IP地址:端口>形式
topic:生产者发送给哪个topic
然后就可以输入一些消息了,如下图:
3.5 消费者来获取信息
3.6 查看消费情况
3.7 清空消费信息
3.8 数据导入与导出
伪测试数据
这个命令执行的时候,创建了一个独立模式的Kafka连接进程,进程中创建了两个连接:一个是源连接(对应connect-file-source.properties的配置信息),它从输入文件中逐行读取数据发布到Kafka主题上;另一个是读取连接(对应connect-file-sink.properties的配置信息),它从一个Kafka主题中读取数据写入到输出文件中。test.sink.txt文件是在connect-file-sink.properties中配置的输出文件。
结果如下:
产生test主题:
控制台获取到数据:
源数据文件:
注意:connect-file-source.properties里面有设置输入文件名的配置,connect-file-sink.properties里面有输出文件名的配置。
数据追加
在消费者命令行和导出数据文件中马上就出现了这一行。
3.9 查看Topic数据条数
3.10 将数据迁移到新节点的工具
3.11 Kafka性能测试工具
其中:--num-records:表示数据总条数;
--record-size:表示每条数据的大小单位为bytes;
--throughput:表示每次批量提交的条数;
--producer-props:表示提交系统配置。
结果如下:
3.12 使用Kafka流数据
创建主题伪数据
把数据导入到streams-file-input主题中
在消费者命令行马上就出现了这些数据,如下图所示。
运行自带的WordCount处理kafka中的数据,这个程序没有输出展示,但是它会把结果输出到另外一个streams-wordcount-output 主题去,实现流的转换。
结果如下:
3.13 删除主题
注意:请慎重使用!!!。一定要先停止kafka服务,然后再执行以下命令才行。
删除log目录下对应主题目录
然后写程序删除zookeeper中保存的kafka对应的主题的元数据信息。
最后重启kafka。
注意:在cloudera hadoop 里面只需要执行删除命令就可以了,没有这么麻烦了