今天给大家分享一篇关于大数据分析必备知识点总结,下面我们一起来看一下吧。
1.数据、信息和知识是广义数据表现的不同形式。
2.主要知识模式类型有:广义知识,关联知识,类知识,预测型知识,特异型知识
3.web挖掘研究的主要流派有:Web结构挖掘、Web使用挖掘、Web内容挖掘
4.一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理,数据挖掘以及模式评估等基本阶段。
5.数据库中的知识发现处理过程模型有:阶梯处理过程模型,螺旋处理过程模型,以用户为中心的处理结构模型,联机KDD模型,支持多数据源多知识模式的KDD处理模型。
6.粗略地说,知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段,其中后面两种反映了目前知识发现软件的两个主要发展方向。
7.决策树分类模型的建立通常分为两个步骤:决策树生成,决策树修剪。
8.从使用的主要技术上看,可以把分类方法归结为四种类型:
基于距离的分类方法
决策树分类方法
贝叶斯分类方法
规则归纳方法
9.关联规则挖掘问题可以划分成两个子问题:
发现频繁项目集:通过用户给定Minsupport,寻找所有频繁项目集或者最大频繁项目集。
生成关联规则:通过用户给定Minconfidence,在频繁项目集中,寻找关联规则。
10.数据挖掘是相关学科充分发展的基础上被提出和发展的,主要的相关技术:
数据库等信息技术的发展
统计学深入应用
人工智能技术的研究和应用
在这里还是要推荐下我自己建的大数据学习交流群:943++791324,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。
11.衡量关联规则挖掘结果的有效性&#x