大数据
文章平均质量分 83
记录和大数据相关的技术和能力
Champion-Dai
桃李不言,下自成蹊
展开
-
ELK海量日志收集系统
项目场景: 公司的正式项目生产环境中,每天都会产生海量的日志,系统日志使我们排查问题的重要依据。当我们的系统数据量足够大时,通过我们的日志还可以分析出非常多的有价值的信息,可以为我们的项目起到指导性作用。ELK架构就是专为收集、分析和存储日志设计。ELK(ElasticSearch,Logstash,Kibana)架构,包括日志的收集、转发、缓存、提取和过滤,以及最终的搜索和展示功能。技术栈介绍:数据流向说明:系统采用log4j2进行日志记录,日志包括正常的系统日志app.log和错误err原创 2021-05-17 22:50:22 · 764 阅读 · 4 评论 -
GreenPlum数据库介绍
一、GP数据库简介GP(GreenPlum)是业界最快最高性价比的关系型分布式数据库,它在开源的PG(PostgreSql)的基础上采用MPP架构(Massive Parallel Processing,海量并行处理),具有强大的大规模数据分析任务处理能力。GP作为大数据融合存储平台中众多数据库之一,与其他数据库系统和文件系统一起,为OceanMind提供完整的OceanStorage大数据融合存储解决方案。二、GP的特点海量存储GreepPlum支持50PB(1PB=1024TB)级海量数据.原创 2021-08-20 11:17:42 · 16084 阅读 · 1 评论