深度学习经典和最新模型

1.深度学习基础-线性神经网络，多层感知器

2.卷积神经网络-lenet，alexnet，vgg，inception，resnet

3.循环神经网络-RNN，GRU，LSTM,seq2seq

4.注意力机制-attention。transformer

5.优化算法-SGD，Momentum，Adam

6.高性能计算-并行，多GPU，分布式

7.计算机视觉-目标检测，语音分割

8.自然语言处理-词嵌入，BERT

1.深度学习基础

深度学习的定义

物体分类，物体检测和分割，样式的迁移（将样式图片和内容相结合，滤镜），人脸的合成

文字生成图片，文字生成，无人驾驶汽车。

案例研究–广告点击

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QCRouqb5-1649577186614)(82d042d1cab2e02a0dd35f032dec1dd6.png)]

触发–点击率预估–排序（点击率*竞价）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aB9ZxDvW-1649577186615)(7c7762142ed15ba93946348140cf3b15.png)]

预测与学习

特征提取–模型–点击率预测

训练数据–特征和用户点击–模型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vkwgMfL1-1649577186615)(69f04f885e52f285c2235b8e8d3a4dbb.png)]

最后需要性能和精度的学习

数据

N维数据样例

N维数组是机器学习和神经网络的主要数据结构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9vL0jaOC-1649577186616)(ebac0914e26a8b7c2eda67c20997e1b7.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yGkNz3s2-1649577186616)(6c2037384dcf22d334b1468aaf27585e.png)]

访问元素

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BeKbKZIt-1649577186617)(43d4e25ca209f75d7dab49f95b14ad3e.png)]

张量表示数据组成的数组

有shape，numel，reshape函数

zeros，ones函数

randn函数，每个元素符合均值为0，标准差为1的标准高斯分布（正态分布）中随机采样

也可以通过python.tensor来赋值

sum函数对所有张量进行求和，形成一个单元素张量

两个tensor的形状不同，也可以通过广播机制来执行元素操作

线性代数

如果你曾经在餐厅支付餐费，那么你已经知道一些基本的线性代数，比如在数字间相加或相乘。 例如，北京的温度为 52∘𝐹 （除了摄氏度外，另一种温度计量单位）。 严格来说，我们称仅包含一个数值的叫标量（scalar）。 如果要将此华氏度值转换为更常用的摄氏度， 则可以计算表达式 𝑐=59(𝑓−32) ，并将 𝑓 赋为 52 。 在此等式中，每一项（ 5 、 9 和 32 ）都是标量值。 符号 𝑐 和 𝑓 称为变量（variable），它们表示未知的标量值。

在本书中&#x