deecamp专家讲座整理

      李开复：开复老师观点如果要从事深度学习就应当趁早。讲了目前的自然标注，根据用户的真实情况进行标注。开复老师做NLP出身，早期就取得了很大的成就，希望我们把要求放高，不应担眼中只有offer和paper，应当关注给这个field是否带来了推动作用！提出如果是做产品学校不如企业，google等公司拥有更高的算力，之后张潼教授也将到，目前autoML非常的吃算力，所以学校很难比企业做得更好。

      俞勇：上海交大ACM班的教练，主要研究方向是知识追踪这一类，强调了模拟器在数据获取中的作用，由于方向不是很match以及时间短，没有听到很多的干货。

     张潼：香港科技大学教授，曾经的腾讯AI LAb的首席科学家，算是一个期待很久的讲座了。讲座整体的过了机器学习从开始到现在，主要是目前的前沿方向，分为3个part：

    1.复杂的模型：

         模型由浅变深，从FC到Local Model,再到Global Model，强调了Two Layer Nerual Network  can represent any function 
with arbitrary precision, 根据这个定理，就谈到了神经网络为什么要变深而不是变宽，张老师的意思多层的表示会更加的efficient，多层数的神经元太多，而深层的网络可以拆解，可以sharing features。

       然后提到了神经网络difficult to train，因此需要一些tricks，这些tricks work but need to accout, 目前没有很好的理论能够从数学上verified, 并且提到了pretrain意义不大，做好可以从random开始。介绍了Drop Out (目前被google申请了专利,还能用吗hhh); Batch Normalization, works but not verified; Residual Network的话easier to optimize a deep network.目前对resnet的accout是relation to ODE（Nerual ordinary Differential Equations  Ricky chen, at al Neurips, 2018).

      提到了theory of DNN, 是current progress，并且说next 5 years will exciting for DNN theroy.主要有两种视角看DNN，1. kernel view，random features不太好，推荐后者，differential equation view，解释了为什么NN可以很好的学习features。

     接下来说了GNN， DNN with geometirc strcture。LSTM， 主要是slove RNN memory short, LSTM can control data information recession slow.然后是讲的attention，作为一种Nolocal Model.comparing CNN with Attention(X Wang and Noniocal Nerual network CVPR 2018), attention目前在global features最有效。

2.向量表示

3.自动化的机器学习

后面的比较粗糙，改天上传ppt图片

 

周志华：周老师真的是非常的低调和谦虚，毕竟是大牛，哈哈哈

      周老师开头就将到目前深度学习有效，但是成功背后有必要条件，首先是有效的model，强监督信息和稳定的任务环境，基本上有一个不满足就很难取得好的效果，回顾了06年就能训练5层的网络，但是会发生梯度消失，不是硬件不够，最主要的原因是因为激活函数都是R上的C1函数，目前的不同学派对一个有效的方法有不同的解释。

      无独有偶，周老师也是很提到了神经网络why deep的原因，给出了自己的解释，从泛函的角度网络加深比加宽有效，并且说到机器学习很重要的task就是avoid overfit. overfit是因为模型complex,因此学习能力太强了，最好的方式是通过more data, 然后计算能力和tricks。提到了drop out在deep NN中可以指数级别降低复杂度， 浅层中也可以线性降低。对89年的证明，任何一个单hidden层函数可以任意逼近函数做了解释，认为是借空间不太好，deep NN会好很多，也表示不一定对。

 

        然后介绍了represent learning，现在的end to end 未必好，因为有一些可能会抵消，难以优化。强调了深度神经网络的逐层处理非常的好，一层层的抽象。并且指出决策树算法就有层数限制（最多分为每一类单独一个类），并且始终在自己的解空间内，boosting的话会制定iteration，每一层都会用到第一层的属性，因此决定了这两种ML algorithm不如NN的效果好。NN的优点主要是逐层的加工处理，内置的特征变换以及模型足够复杂。

       指出了NN的缺陷，too much parameters， 复杂度选定了，不能动态，而且目前比较成功的就是图像视频和语音这样的纯数字特征建模，面对符号就不work。因此提出了基于不可微构建进行深度学习。介绍了自己lambda组的deep tree，不是很了解。。没太听懂！

      强化学习也没法适应不稳定的环境，例如改变了围棋棋盘的数就需要重新学习。目前最重要的不是说效果最好有多么的state of art，而是最差不会咋样。

 

提问环节说到：

         克服少量数据也许会是机器学习加上逻辑推理，并且指出人类可能有继承的原因，所以并不是少数据集学习，也说到不需要和人进行类比，机器学习是一种工具，不是为了替代人类。机器学习可以应用在其他学科领域，但绝不是推翻以前的方法，要恰当的应用。