有数据，然后有大数据。 那么，有什么区别呢？
大数据定义
一个清晰的大数据定义可能很难确定，因为大数据可以涵盖许多用例。 但是总的来说，该术语指的是数据量如此之大，如此复杂，以至于传统的数据处理软件产品无法在合理的时间内捕获，管理和处理数据。
这些大数据集可以包括结构化，非结构化和半结构化数据，可以挖掘每种数据以获取见识。
究竟究竟有多少数据构成“大数据”尚有待商debate，但通常可以是PB的倍数，对于EB级最大的项目来说也是如此。
大数据通常以三个V为特征：
- 大量数据
- 各种各样的数据
- 需要处理和分析数据的速度
构成大数据存储的数据可能来自包括网站，社交媒体，台式机和移动应用程序，科学实验以及越来越多的传感器和物联网（IoT）中的其他设备的来源。
大数据的概念带有一组相关的组件，使组织能够将数据投入实际使用并解决许多业务问题。 其中包括支持大数据技术所需的IT基础架构，应用于数据的分析； 项目，相关技能集以及对大数据有意义的实际用例所需的大数据平台。
什么是数据分析？
从所有大数据组织收集中真正带来价值的是应用于数据的分析。 如果没有分析（涉及检查数据以发现模式，相关性，洞察力和趋势），则数据只是一堆零零的东西，业务用途有限。
通过将分析应用于大数据，公司可以看到诸如提高销售额，改善客户服务，提高效率以及整体提升竞争力等好处。
数据分析涉及检查数据集，以获取见解或就其包含的内容得出结论，例如趋势和对未来活动的预测。
通过使用大数据分析工具分析信息，组织可以制定更明智的业务决策，例如何时何地进行营销活动或引入新产品或服务。
分析可以指基本的商业智能应用程序，也可以指更高级的预测性分析，例如科学组织使用的分析。 数据挖掘是最先进的数据分析类型之一，分析人员在其中评估大型数据集以识别关系，模式和趋势。
数据分析可以包括探索性数据分析（以识别数据中的模式和关系）和确认性数据分析（应用统计技术以发现关于特定数据集的假设是否正确）。
另一个区别是定量数据分析（或具有可统计比较的可量化变量的数字数据分析）与定性数据分析（侧重于视频，图像和文本等非数字数据）之间的区别。
支持大数据的IT基础架构
为了使大数据概念起作用，组织需要适当的基础架构来收集和存储数据，提供对数据的访问并在存储和传输中保护信息的安全。 这需要部署大数据分析工具。
从高层次上讲，它们包括专为大数据而设计的存储系统和服务器，数据管理和集成软件，商业智能和数据分析软件以及大数据应用程序。
随着公司希望继续利用其数据中心投资，许多此类基础架构可能都是内部部署。 但是越来越多的组织依靠云计算服务来满足他们的大数据需求。
数据收集需要有来源来收集数据。 其中许多工具（例如Web应用程序，社交媒体渠道，移动应用程序和电子邮件存档）已经到位。 但是随着物联网的日益牢固，公司可能需要在各种设备，车辆和产品上部署传感器以收集数据以及生成用户数据的新应用程序。 （ 面向物联网的大数据分析具有自己的专门技术和工具。）
为了存储所有传入的数据，组织需要适当的数据存储。 存储选项包括传统的数据仓库，数据湖和基于云的存储。
安全基础架构工具可能包括数据加密，用户身份验证和其他访问控制，监控系统，防火墙，企业移动性管理以及其他用于保护系统和数据的产品，
大数据技术
除了上述用于数据的IT基础结构一般。 IT基础架构应支持几种特定于大数据的技术。
Hadoop生态系统
Hadoop是与大数据联系最紧密的技术之一。 Apache Hadoop项目开发了可扩展的分布式计算的开源软件。
Hadoop软件库是一个框架，可使用简单的编程模型在计算机集群之间分布式处理大型数据集。 它旨在从单个服务器扩展到数千个，每个服务器都提供本地计算和存储。
该项目包括几个模块：
- Hadoop Common，支持其他Hadoop模块的通用实用程序
- Hadoop分布式文件系统，提供对应用程序数据的高吞吐量访问
- Hadoop YARN，用于作业调度和集群资源管理的框架
- Hadoop MapReduce，这是一个基于YARN的系统，用于并行处理大数据集。
阿帕奇火花
Apache Spark是Hadoop生态系统的一部分，是一个开放源代码集群计算框架，可作为在Hadoop中处理大数据的引擎。 Spark已成为关键的大数据分布式处理框架之一，并且可以通过多种方式进行部署。 它为Java，Scala，Python （特别是Anaconda Python发行版 ）和R编程语言（ R特别适合大数据 ）提供本机绑定，并且支持SQL ，流数据， 机器学习和图形处理 。
数据湖
数据湖是存储库，以其原始格式存储大量原始数据，直到业务用户需要该数据为止。 数字化转型计划和物联网的发展助推了数据湖的发展。 数据湖旨在使用户在需要时更轻松地访问大量数据。
NoSQL数据库
常规的SQL数据库是为可靠的事务处理和临时查询而设计的，但是它们带有诸如刚性架构之类的限制，使它们不太适合某些类型的应用程序。 NoSQL数据库解决了这些限制，并以允许高操作速度和极大灵活性的方式存储和管理数据。 许多是由公司开发的，它们寻求更好的方法来存储大型网站的内容或处理数据。 与SQL数据库不同，许多NoSQL数据库可以在数百或数千个服务器上水平扩展 。
内存数据库
内存数据库（IMDB）是一种数据库管理系统，主要依靠主内存而不是磁盘进行数据存储。 内存数据库的速度比磁盘优化的数据库快，这是大数据分析用途以及数据仓库和数据集市的创建的重要考虑因素。
大数据技能
大数据和大数据分析工作需要特定的技能，无论这些技能来自组织内部还是来自外部专家。
其中许多技能与关键的大数据技术组件相关，例如Hadoop，Spark，NoSQL数据库，内存数据库和分析软件。
其他则针对特定学科，例如数据科学，数据挖掘，统计和定量分析，数据可视化，通用编程以及数据结构和算法。 还需要具有整体管理技能的人员来查看大数据项目直到完成。
鉴于大数据分析项目已经变得多么普遍，以及拥有这类技能的人员短缺，寻找经验丰富的专业人员可能是组织面临的最大挑战之一。
大数据分析用例
大数据和分析可以应用于许多业务问题和用例。 这里有一些例子：
- 客户分析。 公司可以检查客户数据，以改善客户体验，提高转化率并增加保留率。
- 运营分析。 改善运营绩效和更好地利用公司资产是许多公司的目标。 大数据分析工具可以帮助企业找到更有效地运营和改善绩效的方法。
- 预防诈骗。 大数据工具和分析可以帮助组织识别可能表明欺诈行为的可疑活动和模式，并帮助减轻风险。
- 价格优化。 公司可以使用大数据分析来优化其产品和服务的价格，从而有助于增加收入。
993
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
