streamsets问题总结

streamsets问题总结

streamsets是一种纯开源的ETL工具，适用场景是不断递增的流式数据，基于原理识别业务逻辑上的增加来识别，实际上有个timer一直在循坏，但它并不是真正的主键，streamsets只是隐式地，不是真正地，最后还是要对于源表这种主键，删除与update不太行，通过另一个逻辑去处理，处理起来比较复杂，它里面配置有一个offset,记录了你最后一次抽取id的值。

streamsets 连接sqlserver2008R2 老版本上面遇到的问题

sqlserver2008版本上支持tlsv1这种套接字，现在驱动都不支持，所以一种想法就是通过其它协议和连接方式去连接数据库，从而可以绕开这种协议，通过在url中设置各种参数，最后加上jtds这种第三方开源的SQL Server/Sybase数据库的JDBC驱动程序，报这样的错，

解决方案：

原理：
数据库连接中的 isValid()接口实现换成了 validationQuery()，所以现在版本驱动想和sqlserver2008R2 交互，进行数据传输时，要防止出现传过来为null的状态，要给它一个值，它就不会报错。

受到的启发：基于同样的原理，联想到的启示，