HDFS自开发分布式数据采集系统—学习总结篇

项目实战

需求描述：

在业务系统的服务器上，业务程序会不断生成业务日志（比如网站的页面访问日志）。

业务日志是用log4j生成的，会不断地切出日志文件。

需要定期（比如每小时）从业务服务器上的日志目录中，探测需要采集的日志文件(access.log不能采)，发往HDFS。

 

注意点：业务服务器可能有多台(hdfs上的文件名不能直接用日志服务器上的文件名)。

当天采集到的日志要放在hdfs的当天目录中。

采集完成的日志文件，需要移动到到日志服务器的一个备份目录中。

定期检查（一小时检查一次）备份目录，将备份时长超出24小时的日志文件清除。

项目的一些学习总结和心得建议

规范注意1：代码中出现太多手写的代码，例如文件路径，编译不出错，很难被发现。

解决问题1：可以编写property资源文件，把路径存放在key上。

规范注意2：如果要读取资源文件，必须要利用类加载器把它加载出来。

规范注意3：存在访问对象问题，应该要用单例设计模式——懒汉式。

规范注意4：存在线程安全问题，为了避免死锁，或者new资源利用重复，应该要同步静态代码块。

规范注意5：还要考虑资源key问题，可以创建一个新的类，专门来保存key，这样当输入错误路径不容易被发现的时候程序会提示错误。

规范注意6：每一个项目，每一个业务，都要先写出他的流程，再一步步写代码，然后再慢慢的考虑其他的异常情况，增加代码的健壮性。