kafka flume 相关操作

kafka:
    启动kafka:
        ./kafka-server-start.sh -daemon ../config/server.properties &
    新建topic：
        ./kafka-topics.sh --create --zookeeper 172.16.17.212:2181 --replication-factor 2 --partitions 3 --topic ihyperdb8
    新建消费者：
        ./kafka-console-consumer.sh --bootstrap-server 172.16.17.212:9092 --topic ihyperdb8 --from-beginning
    新建生产者：
        ./kafka-console-producer.sh --broker-list 172.16.17.212:9092 --topic ihyperdb8
    list:
        ./kafka-topics.sh --list --zookeeper 172.16.17.212:2181
    查看：
        ./kafka-topics.sh --zookeeper 172.16.17.212:2181 --describe --topic ihyperdb8
    删除topic:
        ./kafka-topics.sh --delete --zookeeper 172.16.17.212:2181 --topic ihyperdb8
        
flume:
    开发sink打包后放到flume/lib目录下，配置文件指定自己开发的sink
    ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf -Dflume.root.logger=INFO,console
    
    
    开启http 1234 端口监控
    ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf  --name collect -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=1234
    
    
    nohup ./flume-ng agent -n agent1 -c ../conf -f ../conf/flume-conf-10 -Dflume.root.logger=INFO,console &
    
    在sink中，channel的transactionCapacity参数不能小于sink的batchsize
    
    
    source:
        batchSize： 这个参数当你采用的是 Exec Source 时，含义是一次读入channel的数据的行数，当你采用Spooling Directory Source含义是 Granularity（粒度） at which to batch transfer to the channel ，据我分析应该是events（flume最小处理数据单元）的数量
    
    channel:
        capacity  :   存储在channel中的events的最大数量
        transactionCapacity ： 每次数据由channel到sink传输的最大events的数量
        byteCapacity  ：该channel的内存大小，单位是 byte 。
        
        
        capacity     100     存储在 Channel 当中的最大 events 数
        transactionCapacity     100     同时刻从Source 获取，或发送到 Sink 的最大 events 数