Fusion
当前类别有三种:Early fusion, Late fusion,hybrid fusion
Early fusion
先将各种类别信息concatenate在一坨,然后进行“Classifier”
优点
- 容易
- 可以利用到features之间的dependencies
- feature 之间有相关性,可以相互影响
缺点
- 数据太高维度
- 如果features 有不同的angularities(一般可用normalization 解决,但也可能碰到不能解决的)
Late fusion
先将各种类别信息分别放入对应的“Classifier”,然后再将各自结果组合,根据组合做最后判断(可以用投票,weighted sum…)。
优点
- 弥补了Early fusion的不足
缺点
- 各个模态之间没有互动