2020.01.12碎片梳理——关于大数据

• 2020.02.25补充：https://wiki.mbalib.com/wiki/%E5%A4%A7%E6%95%B0%E6%8D%AE

关于大数据的一点梳理

  最近梳理并重新审视了一下“大数据”。其实所谓大数据处理，就是利用工具对大型数据进行更快速的提取；其核心在于两点，一个是大量非结构化数据的存储，二是对非结构化数据的快速提取并形成结构化。
  Hadoop其实简单理解就是一种文件系统，它提供了一种可以直接存储块状结构的底层文件系统结构；其中Hadoop中的Hive就是一种能够快速提取块状结构的工具。[在这里，也可以说是根据大型数据难以提取的特点，构建了大型数据处理工具对数据进行了更快的提取及分析。]
  利用工具对大型数据提取之后，还需要再通过关联规则（无论是CNN、线性回归或者是其他的关联算法）对数据进行进一步分析（也可以称之为建模过程）。
  接下来的一步（提取了数据之后），也就是通常所说的数据挖掘过程：

• 数据清洗——消除噪声和不一致数据
• 数据集成——不同来源与格式的数据组合在一起
• 数据选择——挖掘所需的数据
• 数据变换——变换成适合挖掘的形式，如汇总、聚合等操作
• 数据挖掘——方法、建模
• 模式评估——结果模型
• 知识表示——可视化，如知识图谱、直方图、折线图等等

关于知识图谱的一点梳理

  知识图谱最终的目的是做预测和推荐，而知识图谱本身最重要的就是关于图谱的展示。