胡言乱语找节奏 —— 什么才是机器学习的未来

模板匹配

什么才是描述像不像的最直白简单的算法——KNN

什么才是学习出最贴近人的认知的模板匹配算法——KMEAN？KMEDOID？or other clustering methods？

                    —— 也有可能是被简单的卷积核编码化后

什么样的结构最贴近人的认知

生成模型进化 -> 生成+判别模型

判别模型应该只是一种认知的一种，不是认知的全部，认知的全部应该是有概念的，但是判别模型却没法体现这一点

但是并不是说有了概念的模型就能很好的帮助判别模型做分类

                    —— 上述问题的关键还是判别模型对于数据特性的依赖性

                    —— 判别模型依赖数据的丰富度，这种丰富度应该是类内散度尽量的小，每个子类量要大

梯度下降的学习算法或者说整个DNN的模型挺像黑箱的，根本不知道权值的变化规律，或者说根本就不是梯度下降的算法来调整权值的——这一点由MNIST的softmax_loss_layer的输入可以看出，全连接把CNN提取的特征好像是给打乱了，必须要用softmax来“归一化”才能让数据看起来像是编码化的结果

不要认为近几年就可以大举攻破人工智能，人工智能还有非常多的路要走，即便是解决了人脑的认知，视觉的特性，其他器官的特性都是值得研究的方向，there is a long long long way to go 

机器学习的发展历史：

缺数据，缺理论 -> 有理论，缺数据(浅层模型的兴起) -> 不缺数据，不缺理论，缺加速(DNN前夕) -> 不缺数据，不缺理论，不缺加速(DEEP LEARNING) -> 少量label数据，大量unlabel数据，缺合理的“认知结构” -> 从脑认知到各个器官认知的研究

半监督模型

超分类的idea还是不漂亮，有点像是解决眼下的问题的应对方案，不过也不一定

感觉生成模型不但要跟判别模型并行用，也要串行用