独孤仁的专栏

topic（主题）：以topic来归类消息，同类消息push到同一个topic；partition（分区）：一个topic可以新建多个partitions，提高并发；replication（副本）：一个partition可以有2或多个replications，一般至少设置为2，保证partition数据有备份。每个replication会分布在不同的broker（集群主机），即副本数不能大...

1、启动服务./zkServer.sh start2、查看集群状态./zkServer.sh status3、登录./zkCli.sh -server 192.168.1.100:21814、查看数据ls / ##查看根目录ls /brokersget /brokers ##查看节点数据待续。。。。...

1、查看topic列表##需要--zookeeper参数列出zk集群./kafka-topics.sh --list --zookeeper 192.168.1.100：2181,192.168.1.100：2182,192.168.1.100：21832、查看topic详情##--topic参数指定topic./kafka-topics.sh --describe --zook...

使用的版本是：apache-flume-1.6.01、三个基本组件的选择与命名agent.sources = sourceagent.channels = memoryChannelagent.sinks = sink2、配置shell命令收集日志agent.sources.source.channels = memoryChannelagent.sources.sourc...

1、关键配置文件flink-conf.yaml##配置master节点ipjobmanager.rpc.address: 192.168.1.100##配置slave节点可用内存，单位MBtaskmanager.heap.mb: 25600##配置每个节点的可用slot，1 核CPU对应 1 slot##the number of available CPUs per machi...

1、flume的重点概念：event：是flume数据传输的基本单元。flume以事件的形式将数据从源头传送到最终的目的。Event由可选的hearders和载有数据的一个byte array构成。agent：一个agent包含sources, channels, sinks和其他组件，它利用这些组件将events从一个节点传输到另一个节点或最终目的。source：channel：s...