大数据与人工智能

(大数据与人工智能)一、大数据的三个层次和核心解读 （一）三个层次和核心 我们将大数据分为三个层次。一是容量很大的数据，比如两个仓库都堆满了很多书，甲仓库的书全是大学二年级数学教材，乙仓库的为大学各类教材及其提升学生综合能力的各类图书，两仓库都满足了“大”的要求；二是大容量且有用的数据，比如对大学教学来说，肯定上述甲仓库的书几乎没用，而乙能满足这一要求；三是从中挖掘核心数据的强大能力，这个很考水平。所以，大数据不能简单地理解为数据多，其核心是数据挖掘。挖掘数据则要涉及到云计算。这种如云般运算的能力与强度，实际上就是考验科技与研发人员的“认知”水准。——摘自《新未来简史》一书 （二）对核心的解读 所谓数据挖掘（与传统定义有点不同），就通过对海量数据的交换、选择、整合和分析，发现新的知识，创造新的价值，带来"大知识"、“大科技”、“大利润"和"大发展”。 也就是，将海量数据最大化的、集约性的、多头性的运用于企业、社会、生活等等的各个方面，以创造最大的价值。 二、大数据的范围与深度认识 （一）范围认知 如今通过物联网（或互联网）感知到的被人们称之为“大数据”的数据（主要指人类信息交换、信息存储、信息处理三方面能力大幅提升后，人与人、人与物之间所制造的数据），相对于万物在同一时刻所释放的所有数据来说，仅仅只是微不足道的“微数据”而已。（摘自《新未来简史》一书） （二）深度认知 如今概念的“大数据”依然是很表面的数据，比如说“你挥挥手，几个简单的动作是‘表数据’，物联网能感知；而挥手动作之下，深入到分子、细胞与组织内，数以亿计的‘宏数据’不能被感知。‘表数据’构筑起如今的大数据概念，在此基础之上的物联网、算法与人工智能等，能量非常有限”。上述文字摘自《新未来简史》一书，是该书提出的“未来12大定律或理论”之一，即“宏表数据理论”。 （三）与人工智能（AI）、物联网的关系 1、与AI的关系 比如AI中的“深度学习”（机器学习的内容之一），实际上是个老话题，如今很时髦的原因，主要是因为信息技术的发展让搜集“大数据”成为可能，机器训练有了足够多的样本。诸如阿尔法狗的棋步算法、洛天依的声音合成，以及无人驾驶、人脸识别、网页搜索等等高级应用中用到的神秘兮兮的“深度学习”“增强学习”，乃至最具潜力的“对抗学习”及其对应的“深度神经网络”“卷积神经网络”“对抗神经网络”等 都与大数据有关。（摘自《新未来简史》一书 2、与物联网的关系（进一步解读与AI的关系） 物联网主要通过各种设备（比如RFID，传感器，二维码等）的接口将现实世界的物体连接到互联网上，或者使它们互相连接，以实现信息的传递和处理。 而且，由于物联网可连接大量不同的设备及装置（家用、生活、监测等各类电器和设备），嵌入在各个产品中的传感器（sensor）便会不断地将新数据上传至云端。这些新的数据以后可以被人工智能处理和分析，以生成所需要的信息并继续积累知识。 综上： 1、正是得益于大数据和云计算的支持，互联网才正在向物联网扩展，并进一步升级至体验更佳、解放生产力的人工智能时代。 2、对于人工智能而言，物联网（IoT）其实肩负了一个至关重要的任务：资料收集和传递。 三、大数据的联动分析（放入整个现代科技、现代社会体系下） 这是大数据产生联动价值的根源。 一、实际上： 数据实际上是个老掉了牙的东西。上古时期的结绳记事、以月之盈亏计算岁月，到后来部落内部以猎物、采摘多寡计算贡献，再到历朝历代的土地农田、人口粮食、马匹军队等各类事项都涉及到大量的数据。这些数据虽然越来越多、越来越大，但是，人们都未曾冠之以“大”字，那是什么事情让“数据”这瓶老酒突然换发了青春并如此时髦了起来呢？ 当互联网开始进一步向外延伸，并与世上的很多物品链接之后，这些物体开始不停地将实时变化的各类数据传回到互联网并与人开始互动的时候，物联网诞生了。物联网是个大奇迹，被认为可能是继互联网之后人类最伟大的技术革命，是这样的吗？见“互联网将会这样被替代”章节详解。 如今，即便是一件物品被人感知到的几天内的各种动态数据，都足以与古代一个王国一年所收集的各类数据相匹抵，那物联网上数以万计亿计的物品呢？是不是数据大得不得了，于是“大数据”产生了。如此浩如云海的数据，如何分类提取和有效处理呢？这个需要强大的技术设计与运算能力，于是“云计算”产生了。其中的“技术设计”就归属于“算法”。“云计算”需要从天量数据中去挖掘有用的信息，于是“数据挖掘”产生了。这些被挖掘出来的有用信息去服务城市，就叫做“智慧城市”；去服务交通，就叫做“智慧交通”；去服务家庭，就叫做“智能家居”；去服务于医院，就叫做“智能医院”；去服务生活，就叫做“智能生活”……于是，智能社会产生了。不过，智能社会真正得以有序、有效运行，中间必须依托一个“桥梁”与工具，那就是“人工智能”。 这就是为什么，近几年时间内，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！ 注意，万物大数据主要包括人与人、人与物、物与物三者相互作用所产生（制造）的大数据。 其中，人与人、人与物之间制造出来的数据，有少部分被感知；物与物之间制造出来的数据是根本没法被感知的。 对于人与人、人与物之间被感知到的那部分很小的数据（相对于万物释放的量来说非常小，但是绝对量却非常大），主要是指在2000年后，因为人类信息交换、信息存储、信息处理三方面能力的大幅增长而产生的数据，这个实际上就是我们日常所听到的“大数据”概念，这是以人为中心的狭义大数据，也是实用性（商业、监控或发展等使用）大数据。据估算，从1986年到2007年这20年间，人们每天可以通过既有信息通道交换的信息数量增长了约217倍，全球信息存储能力增加了约120倍。信息存储、处理等能力的增强为我们利用大数据提供了近乎无限的想象空间。—————上文引用自《《新未来简史：》 一书。 所以，诸如“人工智能”、“物联网”、“大数据”、“云计算”、“算法”、“数据挖掘”和“智能XX”这些高大上的时髦名词和概念，突然同时从地下冒了出来，原来它们都是“同一条线上拴着的蚂蚱”啊！ 四、对大数据认知的升级，即坚持三原则与一悖论（很重要） 坚持三原则：大数据不会过时，但绝对不是最热门，更不能神话它。 坚持一悖论：即大数据悖论。 大数据悖论：提醒人们需避免陷入“数据主义”“数据宗教”等盲目崇拜的陷阱而失去理智。内涵：当大数据被少数人掌握并使用时，能产生奇效，但是，在竞争性领域，大数据被众人使用后，其效用将大打折扣，甚至引发破坏作用。——摘自《新未来简史》一书。关于大数据悖论的深度认知，可参看《“大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题》，链接： “大数据悖论”，几乎否决了《未来简史》立足的基石，以及否决了《今日简史》重大主题之一，大家怎么看？​图标五、最后谈谈大数据专业 （一）专业概况 大数据是门系统学科，基于数据，核心是数学算法，通过一些成熟平台架构组件，完成人们对数据的使用。平台架构组件不断在升级更新，学习要脚踏实地从基础开始，不要有一蹴而就的心态。 大数据专业主要从大数据应用三个层面设置相关课程与学习，即数据管理、系统开发、海量数据分析与挖掘。 从而让学习者系统地掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。 （二）主要专业设置 目前技术应用分大数据系统运维（系统平台管理hadoop基础、相关组件原理安装维护、Hbase/spark/kafka/zookeeper等等） 大数据数据分析（商务数据分析、 六、主要资料引用来源 上述回答主要引用来源于新锐畅销书《新未来简史：区块链、人工智能、大数据陷阱与数字化生活》（与《今日简史》《未来简史》《人类简史》至少分别有80、100与50项对立的观点，几乎涉及30多门前沿科技、学科与未来的推测与推断）。如图：