表格化数据挖掘

1. 经典的数据挖掘方法：数据驱动型开发早期的努力

1.1 什么是结构化数据

• 结构化数据指的主要是表格数据（Tabular Data）
• 最简单的想象：可以记载在 Excel 表格中的均是表格数据
  • 每列数据一般称之为一个变量（字段）
  • 变量可以分为离散型变量和连续型变量
• 绝大多数的数据都是表格数据（或可以转化为表格数据）
• 非结构化数据主要分为：图片、声音、视频、文本
• 在NLP任务中，在情感分类中最早使用字典匹配的方法，如是否包含good这个词，通过该方法就将非结构化数据转换成了结构化的数据。

1.2 结构化数据的传统建模流程

• 传统来说（在某种意义上仍是如此），结构化数据常常要求大量的业务理解
• 探索性数据分析往往占很大成分，例如单变量对分类是否具有强区分性，或者多个交叉变量是否具有强的区分性
• 90% 时间花在清洗数据和探索性分析上

1.3 传统建模流程的问题

• 最核心的悖论：业务理解从哪里来？
• 一些实