吴恩达表示「AI 的下一个发展方向，从大数据转向小数据」，你同意他的观点吗？

作者：段智华
链接：https://www.zhihu.com/question/517440629/answer/2366114293
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

“一种架构，统治一切”( 来自Gavin的Transformer硅谷杂谈系列) 第二季：透彻理解Shannon's Entropy Theory 发布

Entropy是NLP领域进行信息衡量和模型优化最核心的概念，掌握Entropy底层内核能够极大的提升对自然语言处理本质的理解并带来深度的技术洞察力。

本系列视频从示例入手来一步步完整再现Shannon's Entropy的整个实现过程及应用。内容包括：

Entropy： amount of information

Storage and transmission of information

Shannon’s entropy

Concept of "Amount" of Information

Quantifying the Amount of Information

Example of Information Quantity

The Entropy Formula

Mathematical Approximation of Required Storage