机器学习及深度学习的相关概念补充

最近读到的一些概念，感觉在之前没有看到，或者说印象不太深，简单记录一下。

1. 端到端学习（End-to-End Learning），也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标. 在端到端学习中，一般不需要明确地给出不同模块或阶段的功能，中间过程不需要人为干预. 端到端学习的训练数据为“输入-输出”对的形式，无需提供其他额外信息. 因此，端到端学习和深度学习一样，都是要解决贡献度分配问题. 目前，大部分采用神经网络模型的深度学习也可以看作是一种端到端的学习。
2. 目前在深度学习中主要使用的自动微分可以看作是反向传播算法的一种扩展。
3. 深度学习框架（常用）：
   • TensorFlow：由 Google 公司开发的深度学习框架，可以在任意具备 CPU Torch中.或者 GPU 的设备上运行。TensorFlow 的计算过程使用数据流图来表示。TensorFlow 的名字来源于其计算过程中的操作对象为多维数组，即张量（Tensor）。TensorFlow 1.0 版本采用静态计算图，2.0 版本之后也支持动态计算图；
   • PyTorch：由 Facebook、NVIDIA、Twitter 等公司开发维护的深度学习框架，其前身为 Lua 语言的 Torch4。PyTorch也是基于动态计算图的框架，在需要动态改变神经网络结构的任务中有着明显的优势。
   • 飞桨（PaddlePaddle）：百度开发的一个高效和可扩展的深度学习框架，同时支持动态图和静态图. 飞桨提供强大的深度学习并行技术，可以同时支持稠密参数和稀疏参数场景的超大规模深度学习并行训练，支持千亿规模参数和数百个节点的高效并行训练。
   • 在这些基础框架之上，还有一些建立在这些框架之上的高度模块化的神经网络库，使得构建一个神经网络模型就像搭积木一样容易。其中比较有名的模块化神经网络框架有：（1）基于TensorFlow的Keras；（2）基于Theano的Lasagne。
4. 深度学习的研究进展非常迅速. 因此，最新的文献一般会发表在学术会议上.和深度学习相关的学术会议主要有：
   • 国际表示学习会议（International Conference on Learning Representations，ICLR）：主要聚焦于深度学习；
   • 神经信息处理系统年会（Annual Conference on Neural Information Processing Systems, NeurIPS）：交叉学科会议，但偏重于机器学习。主要包括神经信息处理，统计方法，学习理论以及应用等；
   • 国际机器学习会议（International Conference on Machine Learning，ICML）：机器学习顶级会议，深度学习作为近年来的热点，也占据了ICML的很大比例；
   • 国际人工智能联合会议（International Joint Conference on Artificial Intelligence，IJCAI）：人工智能领域最顶尖的综合性会议. 历史悠久，从1969年开始举办；
   • 美国人工智能协会年会（AAAI Conference on Artificial Intelligence，AAAI）：人工智能领域的顶级会议，每年二月份左右召开，地点一般在北美。