Kafka组件研究<三>----Kafka操作

3.1 启动Kafka

 

3.2 创建主题

 

3.3 查看主题详细

   

显示如下：

     

3.4 生产者进程来发送消息

 

   其中，会产生ConsoleProducer进程，有两个参数需要注意：
   broker-list：定义了生产者要推送消息的broker地址，以<IP地址:端口>形式
   topic：生产者发送给哪个topic

   然后就可以输入一些消息了，如下图：

 

3.5 消费者来获取信息
 

3.6 查看消费情况

 

3.7 清空消费信息

 

3.8 数据导入与导出

伪测试数据

执行数据导入与导出操作

 

     说明：上述命令行指定了三个配置文件，一个是独立模式连接的配置文件，一个是导入数据相关的配置文件，最后一个是导出数据相关的配置文件。


    这个命令执行的时候，创建了一个独立模式的Kafka连接进程，进程中创建了两个连接：一个是源连接（对应connect-file-source.properties的配置信息），它从输入文件中逐行读取数据发布到Kafka主题上；另一个是读取连接（对应connect-file-sink.properties的配置信息），它从一个Kafka主题中读取数据写入到输出文件中。test.sink.txt文件是在connect-file-sink.properties中配置的输出文件。


  结果如下：

   产生test主题：

 
  控制台获取到数据：

  源数据文件：
 

导出数据文件：

  

注意：connect-file-source.properties里面有设置输入文件名的配置，connect-file-sink.properties里面有输出文件名的配置。

数据追加

 
在消费者命令行和导出数据文件中马上就出现了这一行。

3.9 查看Topic数据条数

3.10 将数据迁移到新节点的工具

3.11 Kafka性能测试工具

            

 
      其中：--num-records：表示数据总条数；
                 --record-size：表示每条数据的大小单位为bytes;
                 --throughput：表示每次批量提交的条数；
                 --producer-props：表示提交系统配置。
     结果如下：

 

3.12 使用Kafka流数据

创建主题
 

 

伪数据

 
把数据导入到streams-file-input主题中

 
在消费者命令行马上就出现了这些数据，如下图所示。

 

 
     运行自带的WordCount处理kafka中的数据，这个程序没有输出展示，但是它会把结果输出到另外一个streams-wordcount-output 主题去，实现流的转换。

结果如下：

3.13 删除主题

注意：请慎重使用!!!。

   一定要先停止kafka服务，然后再执行以下命令才行。

 

    删除log目录下对应主题目录

 

    然后写程序删除zookeeper中保存的kafka对应的主题的元数据信息。

然后关闭kafka和zookeeper。
 

最后重启kafka。

注意：在cloudera hadoop 里面只需要执行删除命令就可以了，没有这么麻烦了