weixin_49227503的博客

日志采集之前一直使用的是syslogUDP的方式，因为采集的是网络流量日志，所以对于日志数量丢失没有太在意，一次偶然的对数发现syslogUDP方式丢包太过严重，经排查发现使用rsyslog方式发送UDP报文时除去头部，body长度超过1472字节时会被截断，于是flume采集时拦截器进行json校验不通过。**解决方案：**牺牲性能，换syslogTCP更换syslogTCP后进行测试时，发送较长报文，tcpdump抓包有数据，kafka中无数据，推测flume采集出错，查看flume日志发现如下信息

Apache Solr 建立 HBase 二级索引一、安装 Apache Solr图片分割线----------------------------------------------------------------------------------------------------------------------图片分割线----------------------------------------------------------------------------------

Apache Doris编译1、直接编译1.1、安装相关依赖[root@node1 module]# sudo yum groupinstall 'Development Tools' && sudo yum install maven cmake byacc flex automake libtool bison binutils-devel zip unzip ncurses-devel curl git wget python2 glibc-static libstdc++-st