Greenplum在医疗大数据领域的应用

最新推荐文章于 2022-09-14 10:04:30 发布

Greenplum中文社区

最新推荐文章于 2022-09-14 10:04:30 发布

阅读量385

点赞数

文章标签：数据库运维大数据人工智能 java

本文链接：https://blog.csdn.net/gp_community/article/details/119142349

版权

《Greenplum走进全国》系列技术研讨会济南站7月3日成功举行。在过去的三篇文章中我们分别为大家整理了基于Greenplum构建下一代数据分析平台、基于fdw的跨Greenplum集群数据库查询实现、和Greenplum问题定位及性能调优三篇演讲内容。今天为大家介绍的是第四篇内容。相关PPT已上传Greenplum中文社区网站下载页面cn.greenplum.org/download，欢迎获取。

今天和大家分享的主题是《Greenplum在医疗大数据领域的应用》，Greenplum这几年越来越火，但在医疗行业里面的应用似乎并不多，个人认为主要原因如下：
首先医疗行业并不是一个特别前沿的行业，不像金融、电信、电力等，在IT设备上投入很大、数据量也非常的高，从而促使这些行业需要不断的追求新技术。而医疗是发展较为缓慢的行业，近年来，虽然医疗行业的大数据也比较火，但是做的好的企业其实并不多。医疗大数据需求很高，但也存在很多的专业性的数据处理需求，如今医疗的信息化发展仍然较为缓慢，需要行业进行更高的投资。接下来我来介绍一下我们医疗数据的具体情况，同时也邀请大家多关注民生行业。提到医疗行业，就不得不关注医疗数据学。医疗数据有两大特点。 首先，相较于其他行业，医疗数据的规范化程度不高。 我们在日常生活中经常能看到医生手写的病历、拍的X光照片，这些都是非结构化的数据，必须经过二次处理才能形成结构化数据； 第二是，单条数据的体量较大 ，例如基因数据，往往包括成千甚至上万个字段，一条个人信息的原始数据就能达到几个TB。很多数据需要经过精细化的处理才能入库；有一些则需要用到很多人工智能的算法来处理。

基于以上的情况，在选择数据库产品时，我们主要关注以下几点：

入门门槛不能太高

由于数据库使用对象以非计算机专业的教授和学生为主，因为大家都是非专业的DBA，在SQL编写上都非常不规范、不熟练，因此需要尽量对标准SQL有很好的兼容；

统一化的集群

之前我们也用了很多其他的数据库，例如Oracle、MS SQL、MySQL等，集群数据量达到一定规模后，只能通过分库分表来提高计算性能，非常麻烦；所以我们需要的是一款一体化的集群，集群内部自动完成分库分表操作；

现有的数据分析工具多数要求数据离线，不安全；

在这种情况下，在做分析时，需要去别的地方拿数据，比如从hadoop里面去把数据拿出来，因此需要一段等待时间；

基因数据放在HBase中，维护不便；

HBase虽然大家应用的也比较多，但是维护和使用都不是很方便；

实时性需求较少

医疗行业的数据分析和计算，对数据实时性要求不高；但是我们要求数据变动的最后一个版本，必须为最后版本；这个背景促使我们可以采用小批量入库，多次抓取的方式来处理数据，而不用像那些实时同步工具那样一有变化马上就发送过来；

我们没有热数据、温数据和冷数据之分；

我们的数据需要存放在一个地方，最好不要拆分开。在查一个人的基因数据时，有可能需要向前追溯几代人的基因信息，这时也需要有一个强力的计算引擎来快速给出结果。

Greenplum带来了什么？

入门门槛较低

Greenplum兼容标准SQL语法，上手较为容易。与PostgreSQL兼容，便于迁移。文档规范，社区活跃。且Greenplum自带完整的运维工具生态，包括备份、迁移、测试、优化等，对运维人员非常友好。

MPP架构的优势

Greenplum是一款MPP架构的数据库，可以解决单体数据库无法很好的完成数据拆分并行计算的问题；不需要分库分表，方便运维。Greenplum的批入库效率特别高，之前我们采用insert入库的性能是260行/s左右，经过改造后，入库性能直接能达到10万行/s左右，完全能满足我们的日常数据入库需求；Greenplum支持线性扩容，能满足医疗行业多变需求。Greenplum的高可用支持，不间断恢复，可以保证电子病历、健康档案、基因测序等敏感数据的安全。