大数据丶机器学习丶人工智能的区别与联系

大数据和机器学习或人工智能的区别和联系?

• 大数据做的是基础的数据存储和数据统计计算，而从大量的数据中发现或挖掘出有价值的信息或数据，需要借助机器学习算法结合大量的数据构建机器学习模型，利用模型对现实事件进行预测。
  

大数据时代改变了什么？

• 改变了人类的思维方式

  • 数据的重要性: 从数据资源到数据资产的转变; 直观现象: 出现了一些买卖数据的公司.

大数据的4V特征

• 数据量大：
  • KB-----MB------GB----TB----PB----ZB-------1024-----2**10------指数
  • 数据呈现指数级别的增长
  • 大数据存储：HDFS分布式文件系统
  • 大数据计算：MR+Hive+spark+filnk
• 种类多：
  • 结构化数据：Mysql、Oracle===>标准SQL
  • 非结构化：视频、音频、文本===>hdfs存储、mr-hive
  • 半结构化：Json、Xml、Html====>hdfs存储，mr-hive
• 速度快：
  • 数据的增长的速度快
    • 数据呈现指数级别增长
  • 数据的处理的速度快
    • 离线-----批处理----流式计算(flink)
• 价值密度低：
  • 有价值数据的密度=有价值的数据/全量数据
  • 全量数据呈现指数级别的增长
  • 有价值的数据增长速度较慢，价值密度低
  • 需要借助机器学习算法解决：
    • 如何挖掘出有价值的数据或信息？
      • 需要利用机器学习算法结合大量的数据，构建机器学习模型，利用模型对现实事件做出预测。

人工智能的几大热门方向

• 图像识别: 例如识别 猫 还是 狗
• 无人驾驶: 智能无人驾驶 例如百度的无人驾驶汽车
• 智能翻译: 谷歌的智能翻译
• 语音识别: 识别哪里人说的话
• 医疗诊断: 结合传统的医生的方法+医疗数据分析
• 数据挖掘: 海量数据中挖掘出有价值的数据, 沃尔玛 啤酒与尿布的故事

机器学习的三次浪潮

• 机器学习的三次浪潮也可以说是人工智能的三次浪潮，因为机器学习是人工智能（Artificial Intelligence）研究发展到一定阶段的必然产物。

1956-AI-发展

• 1-跳棋：IBM战胜了人类高手—专家系统
• 2-国际象棋：IBM深蓝-----------统计模型
• 3-围棋：AlphaGo战胜李世石-----大数据流派，深度学习流派

人工智能领域几大基本概念

• 机器学习是人工智能的一个分支

  • 数据挖掘分支
  • 模式识别分支

• 深度学习是实现机器学习的一种技术

  • 深度学习是为了解决机器学习在某些方面，比如图像识别、语音识别等方面效果不好，可以采用深度学习拥有的提取大量特征的能力进行图像识别或语音识别

• 人工智能更加智能

  • 让机器学会学习

数据、数据分析、数据挖掘、机器学习

• 数据：观测值或测量值—1.7–1.8.–1.9
• 数据分析：从数据到信息的过程，经过数据的加工，处理，分析达到信息的目的
• 信息：可信的数据，对于身高—高中低
• 数据挖掘：从信息到有价值的信息，如是否是程序员，是否公务员
• 机器学习(方法)----数据挖掘(事情)
• 机器学习(方法)----模式识别(事情–人脸识别)