数据挖掘简述

1.TASKS

      PREDICTION and DESCRIPTION 

2.COMMON METHODS

      CLASSIFACATION ; CLUSTEERING ; SEQUENTIAL PATTERN DISCOVERY ; REGRESSION ; ASSOCIATION RULE DISCOVERY ; DEVIATION DETECTION

【分类;聚类;相关性;

序列分析:用随机过程理论和数理统计学方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题。由于在多数问题中,随机数据是依时间先后排成序列的,故称为时间序列分析;  

回归;异常值检测】

3.A GENERAL PROCEDURE

specify the problems to deal with——input——pre-processing——other treating process(feature-based) like sampling and grouping——modling——output——assessment(ex:处理过拟合,training set)

【1.明确问题:明确是分类or聚类问题(有training set则是分类问题)

2.搜集数据

3.预处理:包括可信度、数据集成、冗余删除、处理冲突值、数据采样、数据清理、缺失值处理、噪声处理

(工具:pig,hive,spark  ; 可用编程语言:python,sas,matlab,scala,java)

4.特征分析,比如是否进行分组和分群处理

5.建立模型

6.输出模型结果

7.评估模型】

4.REFERENCES

  • BOOK(相关书籍):

1.集体智慧编程(programming colletive intelligence)

2.写给程序员的数据挖掘指南

3.数学之美

4.introduction to data mining

5.data mining:concepts and techniques

  • MOOCs(慕课):

Andrew NG(machine learning) ; maching learning foundations;

  • DOCs(文档):

统计学习方法 ;机器学习实战;scikit-learn文档

PRACTICE(数据挖掘比赛):

Kaggle;SIGKDD

  • DEEP LEARNING(深度学习):

The elenents of statistical learing ;Pattern recognition and machine learning

 

 

转载于:https://www.cnblogs.com/jane-lau/p/8449602.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值