功能一: 微服务日志采集汇聚方案
第一步:maven引入,放在dependencys的第一位,一定是第一位
<dependency>
<groupId>com.suncreate</groupId>
<artifactId>log-lib</artifactId>
<version>1.0.0-SNAPSHOT</version>
</dependency>
第二步:启动的时候在命令行设置-Des.addre=ip1:port,ip2:port,ip3:port,-Dspring.application.name=自己的服务名
功能二: sparkstreaming日志采集汇聚方案(华为大数据平台已验证)
第一步:将spark.yarn.archive默认属性位置的归档文件下载下来spark-archive-2x.zip
第二步:用winrar打开改文件,不要解压,直接删除log4j相关jar包,将log-lib-1.0.0-SNAPSHOT.jar,logback-core-1.0.11.jar,logback-classic-1.0.11.jar,logback-core-1.0.11.jar直接拖进去
第三步:将spark-archive-2x.zip修改名称为spark-archive-2x-new-1.zip并重新上传到hdfs路径上,执行命令hdfs dfs -put spark-archive-2x-new-1.zip hdfs://hacluster/user/mgguan/
第四步:修改代码,在自己的conf后面,生成context之前