weixin_42455459的博客

1.自定义Interceptor可以自定义Interceptor，对agent接收的event header中添加KV值。在后面的Selector中根据添加的KV值来决定将event分发到channel的分发规则。例如下面代码定义了一个interceptor，当接收event的body中含有Hello字符串时，向header添加type:hello键值对；否则添加type:nonhello键值对。若selector接收的event header type是hello，则将其分发到channel c1

1. Flume基础知识Flume是一个分布式、高可靠的、高可用的海量日志数据采集、聚合和传输服务。Flume由Agent组成（表现为一个jvm进程），每个agent含有source、channel、sink三个部分。Agent以event形式将数据从source送至sink。Event含有Header和Body两部分。2. Flume事务为保证数据可靠传输，Flume内部采用事务机制实现source和channel、channel和sink间数据安全传输。...

1.Hive表必须设置bucket并且 stored as orc。对hive表的要求a：表必须是事物表b：表必须是分区表，分桶表c: 表stored as orcclustered分桶、transactional事务、orc存储格式。[root@master bin]# ps -ef|grep mysqlroot 23856 19418 0 00:41 pts/2 00:00:00 /bin/sh ./mysqld_safemysql 239...