2012 Hadoop与大数据技术大会有感

来源：http://blog.csdn.net/kupe87826/article/details/8246341

 参考：http://www.tmtpost.com/?p=1543

参加了csdn组织的2012 Hadoop与大数据技术大会，有一些感想，与大家一起分享一下。

1、什么是大数据

它有几个特征，数据量大（TB、PB及以上级别,P（1000个T），E（一百万个T）或Z（10亿个T）），多维性（空间维，时间维），数据多样型（二进制、文本、视频、图像等， 数据形式的多样式，数据源的多样性），数据复杂性（结构化数据、非结构化数据、半结构化数据，也表现为数据多样性，各种类型的数据，显示出复杂性）,数据关联性强（如果数据没有关联性，数据量再大也不能称为数据， http://blog.csdn.net/kupe87826/article/details/8248203）。

2、大数据时代的来临

会上“20世纪石油为王，21世纪数据为王”，我觉得比较有道理。信息时代来了，我们可以数字化各种数据，从一方面讲有数字地球、数字国家、数字城市、数字个人等，另一方讲有数字社会、数字经济、数字军事等。我的专业方向是遥感，现在也进入了定量遥感阶段。我们想更好地理解我们的世界，所以我们想数字化我们的世界，定量化我们的世界，让数学更好地描述它，让它更好地被我们理解。在这种情况下，大数据的产生就不可避免了。

 

3、大数据的获取

各种数据源，遥感观察数据（由于我是这个专业），股票数据，经济数据，个人购买数据，个人上网习惯数据，互联网数据（比如个人微博），物联网数据，移动互联网数据，可以说在信息时代大数据无处不在。

4、大数据的处理

由于大数据的固有特征，也就是数据量大、多维性、多类型等特征，所以大数据需要新的计算方法。大数据计算模式、大数据计算范式、大数据数据挖掘（价值提炼）、大数据压缩、大数据存储（云存储）等技术需要不断深入研究。大数据的处理目前还在研究和科研阶段，不成熟。

5、大数据与云

两者互相推动，大数据推动云的发展，因为大数据需要云计算、需要云存储，云的发展也推动大数据的发展，因为没云的能力，任何关于大数据的东西都是理论不是实践，而理论有时和实践相差千里。可以这样理解，以前计算机是数据+计算，现在到了云时代与大数据时代即超级计算机时代，那就是大数据+云的时代。

 

6、大数据的生态环境

大数据的管理、共享是个很大的问题，其中政策对大数据共享、管理有重要的影响。大数据对个人（个人隐私安全等）、企业、社会、地球的影响，反过来个人、企业、社会、地球对大数据的影响（产生和使用大数据等，如地球定位产生GPS空间数据），这些因素互相影响，共同构成了大数据的生态环境。

7、大数据的应用

在医疗、金融、电子商务、城市管理方面应用广泛，以后将会在经济、社会、军事等各方面应用广泛。一个电网的例子，根据各个地方的电量使用情况，动态调整优化发电量。电信运营商的例子，分析用户行为，来改进产品设计；用户偏好分析，改善用户体验；分析流量，优化网络质量、调整资源配置。

8、一些感想

计算和数据是很重要的。intel的口号是计算改变人们的生活，我们从中也可以发现一些奥秘。云计算、大数据都是在计算和数据上的新发展。用充足的数据计算出足够好的结果来服务企业、个人和世界，希望大数据和云计算让我们生活更美好。

会上有一句话，“知识越分享价值越高”，很有道理。世界是我们大家的，世界的美好需要我们大家一起努力，个人力量是有限的，大家的力量（团结的力量）是无限的，所以需要大家分享知识、共同进步。

9、一些意见

此次csdn会，总体我感觉嘉宾讲的不是很清晰易懂，有些玄乎的感觉，当然有几个讲的还是挺清晰易懂的，也许是大数据不是很成熟和我个人不是很了解的原因吧。希望能有些普及性的演讲以及清晰易懂的演讲，能让不了解的人更容易理解一些，由浅入深。