大数据日志分析系统-spark进行日志计算

spark简介：

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

需要满足的项目需求：

用spark进行实时统计，从kafka中获取数据，流式计算每分钟一次将计算结果存入es，供客户进行查询。

说一次啊这里不用原来直接存入es的方式进行聚合或者存入es之后再进行计算的原因：

1.直接存入es进行聚合的话es中会随着时间的推移保存大量的原始日志，es存入数据量太大的数据会产生性能问题,而且大量用户同时查询也会产生聚合过多的性能问题。

2.先将原始日志存入es，计算结果数据后再次删除原始日志   会产生问题： 

    1）虽然现有数据量es能够满足要求，但是当数据量再次大增时会产生kafka堆积 - es速度跟不上，而spark的处理速度可以跟得上  

    2）实时性在逻辑上和技术上得不到很好的保证。例如每次计算当前时间前5分钟的日志（线上python脚本运行时计算当前时间前1小时日志），一旦数据量过大产生kafka堆积，日志不能实时收集到es就会产生计算数据少的问题。

做的过程中遇到的问题：

遇到过内存问题，算是由于缓存处理不当引起的 后来改用了LruCache      现象是不断的进行消费没有产生kafka堆积，但是没有结果数据，运行正常

还有暂时没想起来

spark配置：

ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6/conf$ cat spark-env.sh | grep -v '#'

export JAVA_HOME=/home/ubuntu/apps/jdk1.8.0_144

export SPARK_MASTER_IP=sp26

export SPARK_MASTER_PORT=7077

ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6/conf$ cat slaves

sp27

sp28

sp29

sp30

当然要有 ssh免密配置，linux环境变量配置等等，以后的文章会进行补充

启动ubuntu@sp26:~/apps/spark-1.6.1-bin-hadoop2.6$ sbin/start-all.sh

http://sp26:8080

这先是单节点

spark代码：

git地址：

https://github.com/penghaoyou5/SparkLogAnalysis.git