大数据的应用应该在:有限资源的情况下,快速开展
非独立同分布 大数据
数据总是依赖的,分布发生变化=》适应大数据发展趋势
算法,思维
| —–
|–Non-IID 进展
|–概念
|–数据表达
|–离散
|–K-Means
|–图形特征体现
|–统计学,特征选择,异常检测,推荐系统【理解予以,关联】
|—-独立同分布。 假设条件简单,存在问题
A. 学习问题:
K-Means 数据可能是不独立的,只能做简单应用,Decision Tree 是不可用的
K-Means 要求数据如 K1,Ki,Kn是同分布,且独立的
现实解决问题面对,=》非独立同分布=》
|–异构型 Heterogeneity【属性,源,结果】 //非特征分布
|–Coupling relationship // 非独立
实现原理:
一、如数据是多行,或多维的;
先基于一维,一行数据做 inter/intra 比较
然后与其他维数据的关系,维度/行之间的关系
最后叠加处理。
二、特征选择,异常,无监督的情况
|–Inter Feature | | Application
| |–Feature Weight
Data Object| [outlier factor] |–Model For |
| |–outlier object detection
|–Intra Feature | |
模型训练或学习
先考