初识大数据

初识大数据：

在计算机刚刚出世的时候，其目的帮助人们解决大型数据的计算量的问题，计算机将大型数据的计算能力提高了很多倍，解决了人们对于数据的处理能力的瓶颈，可是，随着社会信息化的发展，网络将人们的生活提升到一个更加快速的级别，尤其产生的问题就是人们在日常生活中产生的信息数据越来越多，现有计算机设备的能力很难处理这些数据，或者能处理但是需要非常长的处理时间，而在这个信息化社会，时间就是金钱，过长的处理时间就会影响公司或者企业的战略活动甚至是个人的生活安排，因此，大数据的概念应时代潮流产生了。

大数据的定义：

大数据就是在一定时间内无法使用现有的常规工具对数据的内容进行相应的获取、管理和分析的数据集合。与之对应的就是大数据技术，其是指在各种类型的数据中快速挖掘有价值信息的能力，包括并行数据库、云计算、分布式文件系统、数据挖掘等 

2012年美国开始着手大数据的研究工作，奥巴马更是投入两亿美金在大数据的开发中，他强调大数据会是未来的石油，足以体现大数据在未来的地位

大数据的特点：

在大数据的发展过程中IBM提出大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而总结后大数据会有以下几个特种：

1. 信息量特别的巨大：根据百度和谷歌等公司的统计，他们的网站每天会产生PB级的数据量，而人类生产所有的印刷材料的数据量仅仅200PB
2. 数据类型多样：随着现代社会的发展，数据类型不仅仅是文档材料，还包括图片、视频、购物信息、地理位置等等
3. 处理速度快，当今世界是一个快速发展的社会，时间就是金钱，数据处理就是要在最快的时间内从各种类型的数据中快速获得高价值的信息
4. 价值密度低：大量的数据以及数据的多样化，随之带来的问题就是数据的价值密度低，可能很多的数据中真正有价值的只有那么几条数据而已

大数据的作用：

有人把数据比喻成煤矿，不同的煤炭有不同的开采成本和使用价值，而数据就像是这些煤炭一样，如何获取其价值的最大化成为能否赢得竞争的关键，就像阿里巴巴创始人马云说的：未来的时代将不是IT时代，而是DT（Data Technology）的时代，足以说明大数据的重要性。而大数据带来的价值主要体现在以下几个方面：

第一、对大数据的处理分析正成为新一代信息技术融合应用的结点。

移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二、大数据是信息产业持续高速增长的新引擎。

面向大数据市场的新技术、新产品新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三、大数据利用将成为提高核心竞争力的关键因素。

　对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四、大数据时代科学研究的方法手段将发生重大改变

但是，任何事物都是双刃剑，大数据在经济发展中的意义并不能取代一切对于社会问题的理性思考，科学发展的逻辑不能被数据所替代。

大数据的发展趋势：

趋势一：数据的资源化

大数据会成为企业和社会关注的重点，成为人们争相抢夺的战略资源

趋势二：与云计算的深度结合

因为数据的大量产生，传统的设备很难实现对于如此庞大数据量的处理，而云计算为他数据提供了弹性可拓展的基础设备，时产生大数据的平台之一，而后期物联网、移动互联等技术会相继融合进来

趋势三：科学理论的突破

与社会发展相同，随着大数据的发展，会有相关的理论和技术产生和消亡，大数据很可能会推动新一轮技术革命

趋势四：数据科学和数据联盟的成立

就像计算机被当作一门单独的课程被设立一样，未来大数据的相关技术也会成为一个独立的可能体系在社会和雪香进行相应的设立和推广

趋势五：数据泄露泛滥

随着数据量的额变大，人们开始越来越关注数据的安全性问题，而每年各大公司都会产生各种各样的数据泄露问题

趋势六：数据管理成为核心竞争力

当数据开始影响人们的生活和企业的运营的收，对于数据的管理成为重中之重，数据资产的管理效果将会直接影响企业的财务表现

趋势七：数据质量是BI(商业智能)成功的关键

大数据的特性决定了其在数据质量上有一定的局限性，数据源的多样性可能会带来很多的低质量数据，想要从这大量的数据中获得利润和发展趋势，就要从中提取有用信息进行分析

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，而今，这样一套数据生态系统的基本雏形已经形成，接下来的发展就是系统内部的角色细分并对系统结构进行相应的调整，从而使得数据生态系统的符合话程度逐渐增强