flume 1.9 更新说明

flume 1.9 版本更新

个人见解

关心的几个点

• Flume环境变量支持float或double
• 高版本kafka支持与指标完善
• 安全相关的几点改进

总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。

官方说明(翻译)

** 新特性
[FLUME-2071] - Flume环境变量不支持float或double的配置值.
[FLUME-2442] - Flume配置中提供明文密码之外的另一种方法
[FLUME-3142] - 新增了HBase2的sink
** Improvement
[FLUME-2653] - 允许inUseSuffix是null/empty
[FLUME-2854] - pom文件中jetty版本参数化
[FLUME-2977] - 升级RAT版本到0.12
[FLUME-3050] - 新增一个用于错误条件的计数器并将它上报到监控的URL
[FLUME-3182] - 添加对syslog (tcp)和多端口syslog (tcp)Source的SSL/TLS的支持
[FLUME-3186] - 可以在flume配置中调整asyncHbaseClient配置参数
[FLUME-3223] - Flume HDFS Sink should retry close prior to performing a recoverLease
[FLUME-3227] - StressSource新增限速功能
[FLUME-3239] - SpoolDirectorySource中不要重命名文件
[FLUME-3246] - 验证flume配置来避免source批量值大于channel的transaction容量
[FLUME-3269] - 支持JSSE keystore/trustore -D system properties
[FLUME-3275] - Components supporting SSL/TLS should be able to 特点协议列表 protocol list
[FLUME-3276] - Components supporting SSL/TLS should be able to specify cipher suite list
[FLUME-3280] - 通过向其添加静态代码分析器来改进maven构建以帮助代码审查
[FLUME-3281] - 升级到Kafka 2.0 client
[FLUME-3282] - 使用slf4j在每个component
** Bug
[FLUME-1282] - Maven 2构建flume 1.x失败的情况
[FLUME-2232] - Flume build时增加了findbugs
[FLUME-2436] - 将hadoop-2设为默认构建文件
[FLUME-2464] - 移除hadoop-2文件
[FLUME-2786] - 停止flume-ng之前修改conf文件时，它将进入死锁状态
[FLUME-2894] - Flume组件应按正确顺序停止（正常关闭）
[FLUME-2973] - hdfs sink的死锁
[FLUME-2976] - 当JMS source 试图连接一个Weblogic server没有鉴权时抛异常
[FLUME-2988] - Kafka Sink指标缺失eventDrainAttemptCount(sink尝试写入的总数量)
[FLUME-2989] - Kafka Channel指标缺少eventTakeAttemptCount(sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据)和 eventPutAttemptCount(Source尝试写入Channe的事件总数量)
[FLUME-3056] - 测试应用无限期hang住
[FLUME-3101] - taildir source 可能无限循环当tail一个文件的时候
[FLUME-3106] - 当sink的batchSize大于Memory Channel的transactionCapacity时，Flume会产生无穷无尽的数据
[FLUME-3107] - 当sink的batchSize大于File Channel的transactionCapacity时，Flume会产生无穷无尽的数据
[FLUME-3114] - 更新commons-httpclient的库依赖
[FLUME-3117] - 在methodconfigure中调用System.exit()时，应用程序可能死循环
[FLUME-3133] - 在Syslog Sources增加了一个ipHeader配置
[FLUME-3201] - 修复SyslogUtil在12月正确处理RFC3164格式
[FLUME-3218] - 修复外部进程配置filter测试
[FLUME-3222] - TAILDIR源删除文件时抛出java.nio.file.NoSuchFileException
[FLUME-3237] - 处理来自JMSSource中JMS提供程序的RuntimeExceptions
[FLUME-3253] - JP Morgan Chase扫描使用Apache Flume 1.8显示Splunk App的漏洞
[FLUME-3265] - 无法为LoadBalancingRpcClient设置批量大小
[FLUME-3270] - 如果发生故障，请关闭JMSMessageConsumer构造函数中的JMS资源
[FLUME-3278] - 处理Kafka组件中的-D密钥库参数
[FLUME-3294] - 修复TaildirSource中的轮询逻辑
[FLUME-3298] - 在flume-ng-hadoop-credential-store-config-filter增加hadoop-common 选项
[FLUME-3299] - 修复pom文件中的log4j范围
** Sub-task
[FLUME-3158] - 更新 surefire 的版本和配置
[FLUME-3243] - 增加hdfs.callTimeout的值以及文档的相关描述
[FLUME-3303] - 在release notes里面提及未来配置变化
** Test
[FLUME-3195] - 切分TestKafkaChannel class
** Wish
[FLUME-3087] - 切换日志等级从WARN到INFO,当使用 “maxIOWorkers” 默认值时.
** Task
[FLUME-3183] - Maven: 生成SHA-512的checksum在deploy时
** Dependency upgrade
[FLUME-2698] - 更新 Jetty 版本
[FLUME-3115] - 更新 netty 库依赖
[FLUME-3194] - 更新 derby 到最新版本 (1.14.1.0)
** Documentation
[FLUME-1342] - JMX 监控 API 文档
[FLUME-2723] - 需要 Channel’s transactionCapacity >= batchSize of the source/sink的文档
[FLUME-3051] - 提到不兼容 Kafka source 在 0.8.x Kafka brokers
[FLUME-3228] - interceptor timestamp中不正确的参数名