大数据的系统学习：大数据学习的三个阶段概述

　　不同阶段的技术路线各有侧重，把握主要矛盾。在大数据应用实施过程中，由于技术和成本考虑，不可能短时间内解决所有问题，大数据应用本身有其规律和特点，比如分析目标一定是要跟数据规模匹配，分析技术的采用取决于数据结构和数据源条件，数据集成一定要覆盖比较全面的业务背景，关键环节数据不能有缺失等等。

大数据学习可以根据应用目标分三个阶段：

　　 1、 大数据基础设施建设阶段：

　　这个阶段的重点是把大数据存起来，管起来，能用起来，同时要考虑大数据平台和原有业务系统的互通联合问题。一句话，做好全局数据集成解决数据孤岛问题！要完成大数据基础设施系统建设开发，需要明确数据采集、存储和分析各层核心组件的选型和使用，搭建稳定的大数据集群，或选择私有云方案的服务集群，与生产系统并线运行，使待分析的历史数据和实时数据得以采集并源源不断流入大数据系统。这个阶段的关键技术学习包括采集爬虫、数据接口、分布式存储、数据预处理ETL、数据集成、数据库和数据仓库管理、云计算和资源调度管理等等内容。

　　 2、大数据描述性分析阶段 ：

　　此阶段主要定位于离线或在线对数据进行基本描述统计和探索式可视化分析，对管理起来的大数据能进行海量存储条件下的交互式查询、汇总、统计和可视化，如果建设了BI系统的，还需整合传统BI技术进行OLAP、KPI、Report、Chart、Dashboard等分析和初步的描述型数据挖掘分析。这个基础分析阶段是对数据集成质量的检验，也是对海量数据条件下的分布式存储管理技术应用稳定性的测试，同时要能替代或集成传统BI的各类报表。这个阶段的关键技术学习包括可视化、探索式交互式分析、多维分析、各类基本报表和图表的查询设计等等。

　　 3、大数据高级预测分析和生产部署阶段：

　　在初步描述分析结果合理，符合预期目标，数据分布式管理和描述型分析稳定成熟的条件下，可结合进一步智能化分析需求，采用如深度学习等适用海量数据处理的机器学习模型，进行高级预测性挖掘分析。并通过逐步迭代优化挖掘模型和数据质量，形成稳定可靠和性能可扩展的智能预测模型，并在企业相关业务服务中进行分析结果的决策支持，进行验证、部署、评估和反馈。这个阶段的关键技术包括机器学习建模、决策支持、可视化、模型部署和运维等。

　　在上述几个阶段的技术学习过程中，需要注意几个关键问题：

　　一是 重视可视化和业务决策 ，大数据分析结果是为决策服务，而大数据决策的表现形式，可视化技术的优劣起决定性作用；

　　二是问问自己，Hadoop、Spark等是必须的吗？要从整个大数据技术栈来考虑技术选型和技术路线的确定；

　　三是 建模问题处于核心地位 ，模型的选择和评估至关重要，在课堂和实验室中，多数模型的评估是静态的，少有考虑其运行速度、实时性及增量处理，因此多使用复杂的臃肿模型，其特征变量往往及其复杂。而Kaggle竞赛中的各种Boost方法，XGBDT、随机森林等模型，在数据挖掘和机器学习教材中却少有提及，所以要充分参考业界实战经验不能尽信书；

　　四是 开发语言的选择 ，基础框架系统Java是必须掌握的，应用级的机器学习和数据分析库Python是必须掌握的，而要深入各种框架和学习库的底层，C++是必须掌握的；

　　五是 模型的产品化 ，需要将实际数据通过管道设计转换为输入特征传递给模型，如何最小化模型在线上和线下的表现差距，这些都是要解决关键的问题。

　　 其它补充：

　　Kaggle,众包与培训。众包是一种基于互联网的创新生产组织形式，企业利用网络将工作分配出去，通过让更合适的人群参与其中来发现创意和解决问题，如维基百科，还有IT资源社区GitHub，都是典型的众包平台。众包+开源极大推动了IT产业的快速发展，当然Kaggle作为数据科学领域顶级的众包平台，其影响力远不止于此（所以刚刚被谷歌收购）。企业和研究者可在Kaggle上发布数据，数据分析人员可在其上进行竞赛以产生最好的模型。这一众包模式本质就是集体智慧编程的体现，即有众多策略可以用于解决几乎所有预测建模问题，而分析人员不可能一开始就能找到最佳方案，Kaggle的目标就是通过众包的形式来解决这一难题，进而使数据科学成为一场集体智慧运动。所以说要学好大数据，严重推荐去Kaggle冲冲浪，很好的历练平台。至于大数据培训嘛，基础理论和技术还不甚了解的情况下可以去培训学习，成都加米谷大数据培训机构的课程，是由企业大数据总架构师、企业项目经理、国家大数据标准组专家等联合研发，保证课程的前沿性，贴合企业用人需求。有基础之后还得靠自己多练多解决实际问题。

结论与展望

　　大数据不是银弹（Silver Bullet），大数据的兴起只是说明了一种现象，随着科技的高速发展，数据在人类生活和决策中所占的比重越来越大。面对如此广度和深度的大数据技术栈和工具集，如何学习和掌握好大数据分析这种技能，犹如盲人摸象，冷暖自知。不过技术的学习和应用也是相通的，条条大路通罗马，关键是要找准切入点，理论与实践结合，有全局观，工程化思维，对复杂系统设计开发与关键技术体系的主要矛盾要有所把握。熟悉大数据基础理论与算法、应用切入、以点带面、举一反三、横向扩展，从而构建完整的大数据知识结构和核心技术能力，这样的学习效果就会好很多。

　　另外，技术发展也遵循量变到质变规律，人工智能+物联网+大数据+云计算是四位一体发展的（时间有先后，但技术实质性突破都在最近几年），未来智能时代的基础设施、核心架构将基于这四个层面，这种社会演化趋势也很明显：农业时代〉工业时代〉互联网时代〉智能化时代。在这个四位一体智能技术链条里面，物联网重在数据采集，云计算重在基础设施，大数据技术处于核心地位，人工智能则是发展目标，所以学习大数据技术还需要对这四个方面加以综合研究和理解。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31561003/viewspace-2636737/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31561003/viewspace-2636737/