1.nohup日志文件中打印schema时,只有一个root?
答:打印schema时,若只有一个root单词,说明过滤的时候有问题(很有可能将数据全部过滤掉了)。当时我出现的问题是,application.conf文件中,filter.string这个配置出现大小写的问题。
2.数据量比较少(大概比标准的要少1000来行)
答:在建表的时候多指定几个primary key
3.日志中出现大小写的问题
已经通过键值对的方式解决掉了
4.跑大量数据特别慢
(1)去sparkAPP上看看excutor执行的流程,看哪个线程一直在卡着
(2)正则的编译是不是每条都做了编译
(3)rawdata的数据落地到phonix,由于公司内部运维对HBASE不是很了解,设置的HBASE读写内存只有几百M,因此最后采用rawData数据落地到parquetfile中,并且从parquetfile中读取数据做相关的聚合操作,效率提高了将近十几倍
(4)json格式特别的复制,字段非常的多,导致直接内存溢出,
通过规范化schema来解决问题