大数据平台基础组件选型主要的考量点有哪些?

本文探讨了大数据平台的基础组件选型,强调了技术服务能力和组件功能的评估,以及如何在架构设计初期考虑性能和可靠性。同时,提到了人工智能在金融企业的应用,如人脸识别、自然语言处理和语音识别。
摘要由CSDN通过智能技术生成

如何进行大数据平台的架构设计是当前金融企业面临的难题。同时,随着认知时代的到来,人工智能将能如何在大数据的基础之上更进一步地帮助金融企业业务创新也是当前大数据架构师们关注的问题。

以下内容来自“金融机构大数据平台化架构设计思路及未来人工智能应用探讨”,仅代表社区会员观点,供大家参考。

 

大数据平台组件选型问题?

大数据平台基础组件选型,开源?开源+自主改造?星环?华为?主要的考量点有那些,需要做哪些测试来支撑选型。

sandcun  银行架构师:

一般企业应用很少会介入核心组件的改造或优化工作,因为一方面是技术能力制约,另外还有与开源社区后续版本的兼容性问题。排除掉自行研发或改造,剩下的关键问题就是组件选型。

其实无论是CDH/HDP还是国内的几个发行商,都是基于开源社区的组件进行集成,所选取的范围有区别,这个要根据企业的自身需要进行衡量,但从功能上看总体差别也不是太大。

更重要的是技术服务能力的评估,目前大数据厂商的支持能力相对传统厂商在成熟度上还是要差些,企业自身或集成商要具备较强的能力,这个要有心理准备。此外如果进行了定制化的改造,要考虑产品厂商是否有能力将其推入社区或持续跟进,目前国内厂商对开源社区的影响力还是小些。

至于选择开源的方式,如果技术力量允许也不是不可行,但对一般企业不太推荐。

-------------------

 

如何在大数据平台建设之初考虑好性能和可靠性的问题?

sandcun  银行架构师:

其实对性能和可靠性的评估,大数据技术和传统

大数据标准化工作组织:ISO/IEC ITU NIST TPC SPEC TPC和SPEC两个组织关注大数据技术平台的基准测试: 测试标准: TPCx-HS、TPCx-BB 工具:TeraSort 大数据测试第一阶段 大数据平台(Hadoop平台)基准测试的方法论和具体实施方案: 《大数据平台基准测试第一部分:技术要求》 《大数据平台基准测试第二部分:测试方法》 基准测试主要从性能的角度衡量大数据平台主要考虑数据生成、负载选择和明确测试 指标等内容。根据Hadoop平台的特点,从NoSQL任务、机器学习、SQL任务、批处理四大 类任务中选择了10个测试用例作为负载。 大数据测试第二阶段 《Hadoop平台基础能力测试方法》 《Hadoop平台性能测试方法》 性能测试在基准测试的基础上进行了升级,如图2所示,增加了SQL用例的比重,按照SQ L任务的类型,从两个维度确立了5类任务,分别是CPU密集型任务、I/O密集型任务、报 表任务、分析型任务、交互式查询。HBase的优势在于并发检索和读的性能,在负载方面 选择了批量写入数据、并发读任务占多、并发更新任务较重、读取更改然后写回4类场景 ,充分检验了HBase数据库的并发执行能力。在机器学习和批处理方面相对基准测试方法 减少了2个用例 Hadoop平台基础能力测试用例分布 Hadoop平台基础能力涵盖了运维管理、可用性、功能、兼容性、安全、多租户和扩展性 等指标,总共38项测试用例: MPP数据库(面向在线分析处理(on-lineanalyticalprocessing,OLAP))的标准化 《MPP数据库基础能力测试方法》 工具: Terasort BigDataBench HBase性能由YCSB(Yahoo!cloudservingbenchmark)工具来测试 ----------------------- 大数据平台测试标准全文共2页,当前为第1页。 大数据平台测试标准全文共2页,当前为第2页。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值