离线项目笔记：数据的拉取之存在的问题1

如何实现flume的高可用

为了实现下游flume的高可用，上游构建一个sink组，sink1，sink2与下游flume进行绑定，当sink1挂掉之后，将控制权交给sink2，继续进行发送，管理着下面的高可用。下游的flume也实现了主备切换。同时挂掉的sink1需要重新启动，这时可以写个脚本来监控sink的状态，是否正常运行，不正常就赶紧重启，使它正常。

如果日志服务器和HDFS不在同一个网段怎么办

在日志服务器拉取数据到hdfs中间加一个过度的flume，相当于一个中转点。上游的数据先发送到中转点，再由中转点写到hdfs。

如何防止日志文件过大

防止日志文件过大，当达到设定的阈值时，就将文件修改名字。同时它还会往里面写，于是会创建一个同名的文件进行存储。

关于sink的优先级

如果k1优先级大于k2，当sink k1挂了，sink k2变为主的开始计算30000毫秒之后，sink k1是否能够正常工作，能的话sink k1变为主。