- 开放数据
- 由小集团内部数据公开
- 法律层面公开
- 技术上公开(方便、标准的数据格式等)
- 哪里下载开放数据
- 由小集团内部数据公开
- 开放政府数据
- 公开的高质量数据极大方便了数据挖掘,特别是大数据
- 例如地理信息+气象信息+交通信息融合,可以得到1+1>2的效果
- 公开的高质量数据极大方便了数据挖掘,特别是大数据
- 数据挖掘的定义
- 最简单的统计分析方法例如均值、方差等手工计算已经无法满足数据维度越来越高、数据量越来越大的大数据的要求,必须要通过计算机、算法进行计算
- 数据挖掘是一个从大量的、复杂的、有噪音的数据中提取出有趣有用隐含的模式的一个自动的过程
- 数据挖掘不是一个全自动的过程,需要人类的干预(挑选属性、解释... ...,特别是在数据的预处理过程中)
- 数据挖掘的近义词:知识发现
- 数据挖掘的意义
- 数据变得多且廉价,所以要学习与数据相关的技术,去分析数据。例如:数据库、机器学习、统计学、可视化等方面
- 数据挖掘的应用
- 商务智能(BI)领域
- 决策支持
- 客户群体划分
- 群找目标客户或潜在危险(客户)
- 风险预警
- 预测业务发展
- 商务智能(BI)领域
- 从数据到知识
- 传感器采集到的东西:数据(存在冗余、错误)
- 数据经过处理:信息
- 信息通过数据挖掘:知识
- 知识+(与领域相关的各种)模型:可以帮助人们做决策
- 数据集成与分析
- 通常数据存放在不同的数据源中:文本文件、CRM、ERP或其他数据库
- 把所有的数据融合,叫做ETL(一套专门的软件):提取、转换、装载(清洗、融合、处理格式、定义等)
- 融合后装在数据仓库中:进一步做数据分析
- 数据挖掘的过程
- 定义问题
- 采集数据
- 数据准备
- 建模(分类、预测模型、回归等等)
- 解释结果
- 评价(根据好不好、准确度高不高,反馈)
- 够好、够准确就可以应用(出现问题,进行反馈)
- 企业级的数据分析、数据挖掘、可视化应用软件
- IBM的SPSS软件
- 是一个可视化的建模工具
- 下面一行是小算法模型:决策树、时间序列分析、分类器等
- 是一个可视化的建模工具
- SAP
- Oracle(向商务智能方向发展)
- 提供了很多进行商务智能分析的算法模块
- IBM的SPSS软件
1.4从数据到知识
于 2023-11-24 11:52:10 首次发布