当Dell遇上大数据!

    经过一系列的收购整合,IT巨头Dell已经有了一条端到端的IT产品线,从桌面到数据中心,你能想到的,在Dell这里都能找得到。产品有了,如何将其捏合在一起,给用户提供的是一个整体解决方案,而不仅是一个产品的陈列推销,则是目前Dell最大的问题。还好,Dell已经意识到了这一点,开始在IT服务上发力。幸运的是,我们成为了Dell的服务对象,享受到的企业级服务,确实无与伦比。下面,听我娓娓道来,大数据来袭,看Dell轻松解决它!

    身处金融行业,庞大杂乱的信息数据量压得我们喘不过来气,客户的交易数据在数据库中呈现为一条一条的记录,如何从数以亿计的记录中找寻到客户的消费热点和投资习惯,谁能把握这一点,谁就能在未来市场占据有利地位。这一项任务,让我所在的信息技术基础架构部处在了风口浪尖。

    从海量数据中搜寻规则,需要挑选一款BI(Business Intelligence)工具,经过市场上多种产品的调研和抉择,我们定了采用商业化产品greenplum做数据仓库,上层再配合ETL、datastage、cognos等工具做数据抽取和展示的方案。在底层的数据集市方面,因为要采用greenplum软件,所以在和greenplum公司进行讨论方案的时候,需要对硬件进行一些选择。按照greenplum的build guide,我们需要在HP、Oracle、Dell之间三选一。在和这三家厂商进行了多次沟通后,我们决定采用Dell作为greenplum的硬件平台,原因在于Dell的产品全面性、方案完善性、性能可靠性。

产品全面性:
    greenplum采取的是MPP(大规模并行处理)架构,其底层为share nothing,即每个节点不共享任何资源。Dell提供的解决方案中,服务器为R710,两颗志强6核CPU,64G内存,确保了单节点强大的处理能力;存储为直连磁盘柜,每节点配置一台MD3200,包含12款15000RPM的SAS盘,满足数据仓库容量要求的同时,保持相当好的IO性能;整个greenplum集群中,还有两台Dell Force10 S4810万兆交换机,加上每台服务器配置的2块万兆网卡,组成了内部强大的数据传输通路,满足greenplum内部各节点之间的数据传输效率和性能。端到端,除了greenplum软件,其余全部由Dell包办,产品全面性可见一斑。

方案完善性:
    因为此项目为greenplum和Dell共同配合完成,两者之间的协调就尤为重要。在Dell提供的解决方案中,Dell单独配备一个项目经理,专门用于协调和greenplum公司中间出现的集成问题。从操作系统参数的设置,到MD3220的Raid设置,Dell项目经理全程协调各种工程师,配合项目进度。服务器、交换机、存储的上架、线缆连接和梳理、参数配置、表格整理等,Dell现场工程师一丝不苟,对我们的变态需求(比如raid设置就调整了三次之多)一一予以配合。配合greenplum做的性能和压力测试中,性能非常不错,但Dell工程师还是根据推算,发现有一些小小的异常,最后又调整了MD3220的一些参数,IO性能又提升了一个较大的幅度。这种负责任的态度更佐证了Dell在该项目中的方案完善性。

性能可靠性:
    R710除了配备基本的6核心志强CPU、64G内存,保证强大的处理能力外,在数据传输方面,尤其做了优化处理。4块1000Mb网卡,两两做bonding,保持冗余,每台还配备了2块10Gb网卡,配置私网地址和bonding,连接两台S4810万兆交换机,保证带宽的同时确保了链路冗余。服务器内置硬盘做raid5,MD3220做raid10,安全性和性能得到了双重保障。双线缆SAS传输,两电源供电保证,这些都保证了该greenplum集群的健壮性和可靠性。

    Dell用其出色的服务解决能力,赢得了我们的信任。该BI项目已经运行了近半年时间,性能十分突出,有力的推动了IT转化为业务生产力,被评为公司年度十佳项目。大数据一战,Dell已然悄无声息的占得先机。

    未来的云计算市场,希望Dell能凭借其全面的产品线,凸出其服务能力,在激烈的市场中打造特色!