周志华 神经网络

1、《神经网络与深度学习讲义》pdf下载在线阅读全文，求百度网盘云资源

《神经网络与深度学习讲义》百度网盘pdf最新全集下载:
链接: https://pan.baidu.com/s/1RJ3mrqg_HR7UBzA1ut8c5g

?pwd=jp5d 提取码: jp5d
简介：一本很粗浅的讲义。  

谷歌人工智能写作项目：小发猫

2、深度学习和普通机器学习之间有何区别

1、普通机器学习一般指的是像决策树、逻辑回归、支持向量机、xgboost等
2、深度学习主要特点是使用深度神经网络：深度卷积网络、深度循环网络、递归网络等
区别的话：
1、算法层面上没有任何相似的地方，硬要说相似可能就是大家的功能都是对高维函数的拟合吧神经网络与深度学习周志华。
2、普通机器学习比较擅长分析维度较低，可解释性很强的任务。比如数据挖掘、推荐算法。他们的特点是一般情况下采集的数据维度都不高，以广告推送任务为例，一般分析的数据维度只会包含性别、年龄、学历、职业等。可解释性很强，调参方向较为明确。
3、深度学习算法擅长分析高维度的数据。比如图像、语音等。以图片为例，一张图片像素可能几十上百万，相当于特征向量维度达到几十上百万，而且像素点与像素点之间的关系又不是特别明显。这种时候用卷积神经网络能很有效的处理这种问题，基本很精确的抓取出图片的特征。但是每个维度的权重可解释性极弱，调参方向很不明朗（神经元数量、隐含层层数等）
综上，其实两者差别很大的。深度学习是近几年才发展起来的。传统机器学习算法大都来源于概率论，信息学。对于程序编写的话，传统机器学习模型基本上都集成在sklearn这个包里面，深度学习可以用tensorflow作为框架
想详细了解的话，传统机器学习可以看李航老师的《统计学原理》或者周志华老师的《机器学习》（也叫西瓜书）。深度学习因为是这两年才发展起来的相关书籍很少，可以去查近两年的深度学习论文
当然两者都需要比较扎实的数学基础，主要是这三本：《线性代数》或《高等代数》、《高等数学》或《数学分析》、《概率论》或《随机过程》
谢谢

3、机器学习深度学习讲的都是一些算法吗？

1、普通机器学习一般指的是像决策树、逻辑回归、支持向量机、xgboost等
2、深度学习主要特点是使用深度神经网络：深度卷积网络、深度循环网络、递归网络等
区别的话：
1、算法层面上没有任何相似的地方，硬要说相似可能就是大家的功能都是对高维函数的拟合吧。
2、普通机器学习比较擅长分析维度较低，可解释性很强的任务。比如数据挖掘、推荐算法。他们的特点是一般情况下采集的数据维度都不高，以广告推送任务为例，一般分析的数据维度只会包含性别、年龄、学历、职业等。可解释性很强，调参方向较为明确。
3、深度学习算法擅长分析高维度的数据。比如图像、语音等。以图片为例，一张图片像素可能几十上百万，相当于特征向量维度达到几十上百万，而且像素点与像素点之间的关系又不是特别明显。这种时候用卷积神经网络能很有效的处理这种问题，基本很精确的抓取出图片的特征。但是每个维度的权重可解释性极弱，调参方向很不明朗（神经元数量、隐含层层数等）
综上，其实两者差别很大的。深度学习是近几年才发展起来的。传统机器学习算法大都来源于概率论，信息学。对于程序编写的话，传统机器学习模型基本上都集成在sklearn这个包里面，深度学习可以用tensorflow作为框架
想详细了解的话，传统机器学习可以看李航老师的《统计学原理》或者周志华老师的《机器学习》（也叫西瓜书）。深度学习因为是这两年才发展起来的相关书籍很少，可以去查近两年的深度学习论文
当然两者都需要比较扎实的数学基础，主要是这三本：《线性代数》或《高等代数》、《高等数学》或《数学分析》、《概率论》或《随机过程》
谢谢

4、为什么说Transformer的注意力机制是相对廉价的？注意力机制相对更对于RNN系列及CNN系列算法有何优势？

QA形式对自然语言处理中注意力机制（Attention）进行总结，并对Transformer进行深入解析。

二、Transformer（Attention Is All You Need）详解
1、Transformer的整体架构是怎样的？由哪些部分组成？
2、Transformer Encoder 与 Transformer Decoder 有哪些不同？
3、Encoder-Decoder attention 与self-attention mechanism有哪些不同？
4、multi-head self-attention mechanism具体的计算过程是怎样的？
5、Transformer在GPT和Bert等词向量预训练模型中具体是怎么应用的？有什么变化？

一、Attention机制剖析

1、为什么要引入Attention机制？

根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？

可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。

2、Attention机制有哪些？（怎么分类？）

当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只 选择一些关键的信息输入进行处理，来提高神经网络的效率。按照认知神经学中的注意力，可以总体上分为两类：

在人工神经网络中，注意力机制一般就特指聚焦式注意力。

3、Attention机制的计算流程是怎样的？

Attention机制的实质其实就是一个寻址（addressing）的过程，如上图所示：给定一个和任务相关的查询Query向量 q，通过计算与Key的注意力