大数据开发（基础篇）：1.什么是大数据

随着信息化的发展，在我们的工作与生活中产生了海量的数据，这些数据巨大，呈TB甚至PB级别；具有多样性，有结构化数据、半结构化数据以及非结构化数据；同时还增长迅速。这些数据本身是没有价值的，但是通过对这些数据进行分析，提取出来的有效信息却对市场营销（用户分析、产品运营、客户服务）、业务优化（流程改进）、公司决策（市场定位）等具有重要的作用，因此，我们需要对这些数据进行捕获、存储、检索、处理、分析等，最典型的就是日志流量分析。
但是因为数据量大，具有多样性、增长速度快同时具有实时性，传统的数据库软件及分析工具已经不能够满足要求，因为随之而出一些专门用于做大数据分析的软件（如Hadoop）。
因此大数据包括了海量数据以及针对大数据应用而生的一系列处理技术（核心为分布式存储与计算）。