项目实战
需求描述:
在业务系统的服务器上,业务程序会不断生成业务日志(比如网站的页面访问日志)。
业务日志是用log4j生成的,会不断地切出日志文件。
需要定期(比如每小时)从业务服务器上的日志目录中,探测需要采集的日志文件(access.log不能采),发往HDFS。
注意点:业务服务器可能有多台(hdfs上的文件名不能直接用日志服务器上的文件名)。
当天采集到的日志要放在hdfs的当天目录中。
采集完成的日志文件,需要移动到到日志服务器的一个备份目录中。
定期检查(一小时检查一次)备份目录,将备份时长超出24小时的日志文件清除。
项目的一些学习总结和心得建议
规范注意1:代码中出现太多手写的代码,例如文件路径,编译不出错,很难被发现。
解决问题1:可以编写property资源文件,把路径存放在key上。
规范注意2:如果要读取资源文件,必须要利用类加载器把它加载出来。
规范注意3:存在访问对象问题,应该要用单例设计模式——懒汉式。
规范注意4:存在线程安全问题,为了避免死锁,或者new资源利用重复,应该要同步静态代码块。
规范注意5:还要考虑资源key问题,可以创建一个新的类,专门来保存key,这样当输入错误路径不容易被发现的时候程序会提示错误。
规范注意6:每一个项目,每一个业务,都要先写出他的流程,再一步步写代码,然后再慢慢的考虑其他的异常情况,增加代码的健壮性。