suport公司的大数据平台遇到的问题及解决方案总结

1.nohup日志文件中打印schema时，只有一个root？

答：打印schema时，若只有一个root单词，说明过滤的时候有问题（很有可能将数据全部过滤掉了）。当时我出现的问题是，application.conf文件中，filter.string这个配置出现大小写的问题。

2.数据量比较少（大概比标准的要少1000来行）

答：在建表的时候多指定几个primary key

3.日志中出现大小写的问题

已经通过键值对的方式解决掉了

4.跑大量数据特别慢

（1）去sparkAPP上看看excutor执行的流程，看哪个线程一直在卡着

（2）正则的编译是不是每条都做了编译

 （3）rawdata的数据落地到phonix，由于公司内部运维对HBASE不是很了解，设置的HBASE读写内存只有几百M，因此最后采用rawData数据落地到parquetfile中，并且从parquetfile中读取数据做相关的聚合操作，效率提高了将近十几倍

（4）json格式特别的复制，字段非常的多，导致直接内存溢出，

通过规范化schema来解决问题