大数据学习

大数据学习

前言

一、人工智能、大数据、云计算、物联网的联系

人工智能

人工智能（Artificial Intelligence）简称AI，AI能根据大量的历史资料和实时观察（real－time observation）找出对于未来预测性的洞察（predictive insights）。比如我们所知道和了解的人像识别、图像识别技术、语音识别、自然语言理解、用户画像等。此类技术也现阶段已经在金融、物联网等行业得到应用！

数据分析（Big Data Analysis）
可视化分析（Analytic Visualization）、
数据挖掘算法（Date Mining Algorithms）、
预测性分析能力（Predictive Analytic Capabilities）、
语义引擎（Semantic Engines）
数据质量管理（Data Quality Management）。

机器学习和数据挖掘
监督学习模型
1决策树
2 贝叶斯方法
3 神经网络
4 支持向量机（SVM）
5 集成学习分类模型

无监督学习模型
1 K-means聚类
2 基于密度的聚类
3 层次聚类方法
4 谱聚类

半监督学习
1 Multi-view algorithm(多视角算法)
2 Graph-Based Algorithms(基于图的算法)

文本处理模型
1 分词模型**
2 TF-IDF模型
3 LDA模型
参考：
https://blog.csdn.net/u012325865/article/details/80481261.

大数据

大数据（Big Data） 大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V
信息存储 分布式存储(Distributed memory) 服务器集群（Server Cluster）
信息处理 分布式计算（Distributed Computing） 服务器集群（Server Cluster）
大数据的技术基础：MapReduce、Google File System(GFS)和BigTable;
Hadoop (Doug Cutting 之父)采用 MapReduce 分布式计算框架，并根据GFS开发了 HDFS (hadoop Distributed file system) 分布式文件系统，根据BigTable开发了 HBase 数据存储系统; 加州大学伯克利分校 Spark 分布式计算系统;
大数据好比一张需要被处理的图片，Hadoop相当于Windows操作系统，图片可以存在HDFS里并被读取，mapreduce相当于Win自带的绘图板，spark相当于Photoshop.
Nutch, Lucene, Solr

参考：https://www.zhihu.com/question/23036370

没有人工智能的物联网：没大戏
而物流网又让人工智能：更准确

物联网 IOT

物联网（Internet of Things），可以简单地理解为物物相连的互联网，正是得益于大数据和云计算的支持，互联网才正在向物联网扩展，并进一步升级至体验更佳、解放生产力的人工智能时代。
物联网主要通过各种设备（比如RFID，传感器，二维码等）的接口将现实世界的物体连接到互联网上，或者使它们互相连接，以实现信息的传递和处理

人工智能背后强大的助推器：云计算

云计算

云计算 是将我们传统的IT工作转为以网络为依托的云平台运行，NIST（美国国家标准与技术研究院）在2011年下半年公布了云计算定义的最终稿，给出了云计算模式所具备的5个基本特征（按需自助服务、广泛的网络访问、资源共享、快速的可伸缩性和可度量的服务）、3种服务模式（SaaS（软件即服务）、PaaS（平台即服务）和IaaS（基础设施即服务））和4种部署方式（私有云、社区云、公有云和混合云）

男人找个女友或老婆是自建私有云，单身约炮或者到娱乐场所消费是公有云服务，按需使用并可弹性扩容，已婚男人找二奶小蜜则属于混合云