大数据平台选型及相关技术应用 11 个难点解读

大数据时代已经到来，社区最近组织了“大数据时代企业的精准化和个性化管理及服务实践线上交流探讨”，并邀请专家陈星星撰写了《大数据时代背景教育企业的精准化和个性化管理及服务实践》（点击标题可阅读），为广大会员提供大数据应用相关实践借鉴，以下由陈星星将活动中提出的难点问题及解答进行总结，供更多读者参考。

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：957205962，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系

Q1、传统数仓转向大数据平台的必要性？

如题，或者什么场景的的传统数仓适合转向大数据平台。转向大数据平台后都解决了什么样的问题，暴露出什么样的问题？

A：

■ rein07 某证券 系统架构师：

大数据平台采用分布式架构，用于解决海量数据的存储和分析问题，传统数仓无法解决上百TB及PB级的分析问题。大数据平台由于架构新，使用模式也不尽相同，有的使用SQL，有的使用spark编程，有的使用mapreduce编程，所以存在一定的学习成本；大数据平台还在逐步完善中，尤其是用户管理、安全、元数据管理等方面还存在一定问题，使用时需要注意。

 

Q2、大数据底层保持数据强一致性是如何实现的？

A：

■ 陈星星 科技公司 技术经理：

大数据底层的数据强一致性是通过HDFS的分布式架构中的冗余副本策略和心跳检测机制实现的。

1、冗余副本策略：HDFS处理节点失效的一个方法就是数据冗余，即对数据做多个备份，在HDFS中可以通过配置文件设置备份的数量,默认是3副本，只有数据在3个副本上均完成写成功，才返回。

2、心跳机制：检测节点失效使用“心跳机制”。每个 Datanode 节点周期性地向 Namenode 发送心跳信号。 Namenode 通过心跳信号的缺失来检测这一情况，并将这些近期不再发送心跳信号 Datanode 标记为宕机，不会再将新的 IO 请求发给它们。

N： 3 (数据备份的数目)

W： 1 （数据写入几个节点返回成功），默认是1

R： 1 （读取数据的时候需要读取的节点数）

W + R < N