大数据的接触,带你初步认识什么是大数据,云计算以及物联网

1.什么是大数据时代？大数据时代的到来又意味着什么？

概念:最早提出大数据时代到来的是麦肯基公司,麦肯基又称为数据.简单来说:大量数据+云计算=大数据

2.特征

• 数据量庞大:第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
• 种类繁多:包括网络杂志,音频,视频,图片,地理位置信息等
• 价值密度低:随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值"提纯"，是大数据时代亟待解决的难题。
• 速度快,失效高:处理速度快时间效率高

3.大数据和生活

个人理解:你可能难以理解大数据这个抽象的词语,但是你有没有发现,你的淘宝账号和你家人设置了亲密账号,当你家人浏览过一些商品比如说一件耐克鞋,然后程序就会根据你最近浏览的数据进行一个筛选,将你浏览次数最多的数据就会推送到你的商品主页,过一阵子你就会发现,你的淘宝首页都是家人看的耐克鞋,同时他本人的账号也是推送很多关于鞋的信息.

再举例:比方说,最近美国大选总统,根据投票趋势就可以分析出谁的得票会更高;虽然大数据会给人们带来很多方便,但是也存在了安全隐患.

4.大数据的作用

简而言之:

• 根据个人喜好,匹配最适合你需要的.
• 根据趋势,进行预测.

5.大数据关键技术

1.大数据采集技术

通过社交网络交换数据,传感数据,移动互联网数据等方式获得各种来类型的数据结构化,半结构化以及非结构化的海量数据,是大数据知识服务模型的根本.

大数据的采集一般分为:

• 大数据智能感知层
• 基础支撑层

2.大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。

顾名思义

辨析:分析辨认

抽取:抽取需要的数据

清洗:消除无用数据

3.大数据存储和管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用.

一般我们把数据库分为关系型和非关系型

关系型数据库包括:Oracle,mysql

非关系型数据库包括:Redis,noSQL -> 这类数据一般是按照(key,value)形式存储

开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

4.大数据分析以及挖掘技术

改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

5.大数据展现和应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

6.云计算

何为云?

我的理解就是,他类似于一个盒子,这个盒子中装有很多粉笔(资源或者数据),当我们用的时候就从这个盒子中获取即可,用完放回去.这个盒子就相当于云,是汇总了资源的载体.

何为云计算?

水龙头观点论：

当需要的时候，扭开水龙头，水就来了，我只需要操心交水费就是了！

当你需要用一个软件时，你不用跑去电脑城，打开应用商店，它就下载下来了，你只需要交钱就是了；

当你想看报纸的时候，你不用跑去报刊亭，只要打开头条新闻，新闻唾手可得；

当你想看书的时候，你不用跑去书城，只需要打开阅读软件，找到这样的一本书，在手机上阅读；

当你想听音乐的时候，你不用再跑去音像店苦苦找寻CD光碟，打开音乐软件，就能聆听音乐；

荤段子观点论：

网上很流行的一种比喻：男人找个女友或老婆是自建私有云，单身约炮或者到娱乐场所消费是公有云服务，按需使用并可弹性扩容，已婚男人找二奶小蜜则属于混合云。

这种解释方式对男人比较适用，通常稍微一解释就心领神会！

一日三餐吃货论：

饿了要吃饭，在家里自己做饭属于自建私有云，需要建造厨房购买锅碗瓢盆柴米油盐等，吃完饭还需要自己刷锅洗碗等运维工作，费时费力；

外面餐馆提供的就相当于公有云服务，按需胡吃海塞吃完结账抹嘴走人，餐馆后厨如何安排做菜顺序并加快出菜速度就是负载均衡和虚拟化概念；

请厨师到家里上门做饭则属于典型的混合云，在资产安全的情况下有限使用公有云。

7.云计算的特点

大规模,分布式:云需要相当大的规模,比如阿里云,Google云,华为云等上百万的服务器才可以.

虚拟化

云计算都会采用虚拟化技术，用户并不需要关注具体的硬件实体，只需要选择一家云服务提供商，注册一个账号，登陆到它们的云控制台，去购买和配置你需要的服务（比如 云服务器，云存储，CDN等等），再为你的应用做一些简单的配置之后，你就可以让你的应用对外服务了，这比传统的在企业的数据中心去部署一套应用要简单方便得多。

高可用性和扩展性

那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。

用户可以根据自己的需求,来进行选购云服务的规模.资源得到很好的利用.

安全

云服务可以借助更专业的安全团队来有效降低安全风险。

8.物联网

物联网我们其实可以理解为将所有的物品智能化.智能机器.比如说车载智能语音,天猫精灵……

它具有将普通对象设备化、自治终端互联化和普适服务智能化3个重要特征。

主要应用领域:

智能家居:WiFi,蓝牙,天猫精灵(本人就拥有一个)

智慧交通:自动泊车,自适应巡航,自动导航

智能安防,只能电力,智能物流(阿里仓库中的智能运送机器人)

互联网和物联网

物联网是依附于互联网的,也就是说没有互联网,物联网就是无稽之谈,物联网是建设在互联网之上的,离开了互联网，物联网概念就是无本之木，无源之水.

9.物联网的发展前景

俗话说"人类在进步,社会在发展",物联网是人类科技文明发展的重要趋势,把所有的物品智能化,赋予"生命".连接到网络,从而可以省去人力,只需要对其发出指令即可.

物联网的流程大概分为四个步骤:

• 连接:将电器或者物品连接到网络
• 传感:所有的设备采集信息,反馈给云服务器,
• 分析:云服务器采用数据分析技术（也就是AI技术了）,然后向物品发出指令
• 控制:最后是根据这些控制信息，对电器进行具体的控制