当年师弟进实验室做本科毕业设计,说想做算法,因为互联网大厂的算法给钱多。我想了想,那我们试试改进一下单细胞聚类算法吧,问题1.细胞多的时候巨慢,问题2.其他缺点,比如同一亚群细胞降维后在二维上不是一团。
那时还没有UMAP,最好的降维算法是tSNE。
它的作者是Hinton组的。当时知道Hinton是一个孤独的坚持者,挺过了一次又一次的AI winter。他几十年坚持研究的多重神经网络模型,终于在硬件算力达到阈值后迎来了拐点,在图像识别领域迎来了伟大的胜利,接着是自然语言处理。近年来,他对AI的未来表达了担忧,呼吁做更安全、可控、透明的AI研究。
今天听到Hinton获得诺奖了。
补充:我们当年没能解决tSNE的问题… 没有任何改进 … 甚至,都没看懂paper中的全部公式。从此,老实做调包侠,和工程师。
- https://www.cs.toronto.edu/~hinton/absps/tsne.pdf
- https://jmlr.org/papers/v9/vandermaaten08a.html