大数据_2019.8

大数据

一．大数据？

《斗破苍穹》有500多万字，文本的“斗破苍穹.txt”有10M左右。
假设 把 所有的小说 都汇总成一个 几百G 的“小说.txt”。
要读这其中的某本小说时 会发现 我们的手机或电脑 是打不开“小说.txt”的。

这个“小说.txt”？
  就是大数据！
怎么处理呢？
  换成超记计算机打开“小说.txt”；把“小说.txt”分成多个文件 逐个查找；像磁盘不够 改用网盘一样 计算不够用 把“小说.txt”同步云上计算 得到其中要读的小说 ！！！

大数据，从2008年 就开始处理 到现在，并被称下一个革命。其内容、格式、定义 是五颜六色。
但是，“小说.txt”就是 一个 离线的 大数据。

“小说.txt” 就是 大数据。

二．大数据具体是什么呢？

大数据 是 无法常规处理 的 数据集合/信息资产  大量、高速、多样、价密低、真实
大数据 是 无长处 书记 薪资  大高夺家珍

三．大数据的始终呢？

产生：
  1.离线的（已有的）；
    人类几千年的知识存储 到现在为止，不管是经典人文科技 还是价值极低的缓存 都可以理解为数据，若同时符合 大数据的标准 就是 离线的大数据
    通常用来形容 一个公司 创造的 大量非结构化和半结构化 数据 （这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱）
  2.实时的（不停在产生）。
    时刻在产生的 符合大数据标准的 新数据，特别是5g的到来，网速飞升，万物互联（万物联网），各种内容、各种格式的数据骤增，你的 空调、冰箱 联网的缓存数据 或许 就能 得出或佐证 你喜欢的温度、食物、有没有在家、是否生病甚至更多的其他数据…

处理：
  流程
    数据产生后    ->采集 ->清洗 ->管理 ->分析 ->可视化    ->所需数据
  方式
    1.超级计算机，只要计算机性能足够强大，数据的量级不是问题，但计算机本身造价太高，用于处理数据 性价比较低。（拷贝上去 直接打开“小说.txt”搜索要读的小说名字）
    2.分布式，一般用分布式集群 与 相关技术 来处理 组合成一个 类似超记计算机 的存在；分布式 是一种 分而治之、并行处理 的模式，集群 是 多台电脑节点连在一起 物理结构。（把“小说.txt”切成几百份，分别放在不用的电脑上打开 并搜索 汇总结果）
    3.云计算，计算机最基础的功能 是 存储与计算；当我们计算机磁盘不够用 可以存在网盘上，当计算机性能不够时 可以使用云计算。（把“小说.txt”与算法需求 同步到某云，得到结果）

结果：
  1.性能，在 海量用户与海量数据 且高时效性 要求下，可以 处理PB级数据、实时导航等；
  2.规划，根据 以往的海量的数据，总结出规律，对未来做出的预测 相对可靠，并及早做出规划， 如 相关推荐、公司决策等；
  3.人工智能，人工智能 需要大量数据 做基础 、 大数据 也需要 人工智能技术 进行 数据价值化操作（机器学习）；
  4.物联网，物联网 产生 大数据 、 大数据 助力 物联网；
  等等

大数据
我们 产生了 庞大的数据 以至于 常规手段 无法处理，
然后 通过 新手段 处理 这些数据 并得到收益。

1:30 2019/8/13