深度学习免费的GPU计算平台:
- Kaggle Kernel
- Google Colaboratory
- AI Studio和飞桨
1、有监督无监督半监督
区别:一个有标签一个无标签,部分标签是半监督学习,无监督模型包括所有的聚类算法。
2、torch.Tensor是默认的tensor类型(torch.FlaotTensor)的简称。
torch.tensor根据后面的data创建Tensor,Tensor类型根据数据进行推断。
3、tensorflow计算图:计算图也叫数据图,可以看做一种有向图
4、pytorch实现流程
// A code block
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
class name(nn.Module);
def __init__(self, A,B,C)
super(name, self),__init__()
self.A=nn.Conv1d()
self.B=nn.BatcchNorm1d(out_size)
self.C=nn.ReLU()
self.D=nn.Linear(in,out)
def forward(self, x):
x = self.A
x = self.B
x = self.C
return x
// A code block
from skleran.metrics import mean_squared_error
from sklearn.preprocessing import MinMaxscaler
scaler = MinMaxScaler(feature_range(0,1))
data = scaler.fit_transfrom(data)
x = torch.from_numpy(data).type(torch.FloatTensor)
x = Variable(x)
if cuda:
model.cuda()
x = x.cuda()
y= y.cuda()
// A code block
optimizer= torch.optim.SGD(model.parameters(),lr=0.01)
for i in range(epochs):
optimizer.zero_grad()
output = model(x)
loss = F.mse_loss(output, y)
loss.backward()
optimizer.step()
model.eval()
if epoch%epochs==0:
print('epoch:{:2d} Loss:{:.6f}'.format(epoch, loss))
predict = model(x)
matlibplot.plot(x.numpy())
5、tensorflow实现流程
// A code block
x=tf.placeholder(tf.float32,[None,1])
loss = tf.reduce_mean(tf.square(y-pre))
train_step=tf.train.GradientDescentOptimizer(0,1).minimize(loss)
with tf.Session() as seaa:
sess.run(tf.global_variables_initializer())
for i in range(200):
sess.run(train_step,feed_dict={x:x_data,y:y_data})
prediction = sess.run(prediction,feed_dict={x:x_data})
https://blog.csdn.net/qq_30815237/article/details/96975332
6、多gpu训练:net = torch.nn.DataParallel(model, device_ids=[0, 1, 2])
https://www.nowcoder.com/tutorial/95/2785805c26a549b2bbcf5e60cab5f61e
7、1 BatchNormalization的作用
2、梯度消失
3、循环神经网络,为什么好?
4 什么是GroupConvolution
5.什么是RNN
6.训练过程中,若一个模型不收敛,那么是否说明这个模型无效?导致模型不收敛的原因有哪些?
7.图像处理中锐化和平滑的操作
8.VGG使用33卷积核的优势是什么?
9.Relu比Sigmoid的效果好在哪里?
10、问题:神经网络中权重共享的是?
11、问题:神经网络激活函数?
12、问题:在深度学习中,通常会finetuning已有的成熟模型,再基于新数据,修改最后几层神经网络权值,为什么?
13、问题:画GRU结构图
14、Attention机制的作用
15、Lstm和Gru的原理
16、什么是dropout
17、LSTM每个门的计算公式
18、HOG算法原理
19、DropConnect的原理
20 深度学习了解多少,有看过底层代码吗?caffe,tf?
21、除了GMM-HMM,你了解深度学习在语音识别中的应用吗?
22、用过哪些移动端深度学习框架?
23、Caffe:整体架构说一下,新加一个层需要哪些步骤,卷积是怎么实现的,多卡机制,数据并行还是模型并行?
18、HOG算子是怎么求梯度的
1、BN层的作用,为什么要在后面加伽马和贝塔,不加可以吗
2、梯度消失,梯度爆炸的问题,
3、Adam
4、attention机制
5、RNN梯度消失问题,为什么LSTM和GRU可以解决此问题
6、GAN网络的思想
7、11的卷积作用
8、怎么提升网络的泛化能力
9、什么是seq2seq model
10、激活函数的作用
11、为什么用relu就不用sigmoid了
12、讲一下基于WFST的静态解码网络的语音识别流程?
13、目标检测了解吗,Faster RCNN跟RCNN有什么区别
14、SPP,YOLO了解吗?
15、梯度消失梯度爆炸怎么解决
16、RNN容易梯度消失,怎么解决?
17、LSTM跟RNN有啥区别
18、卷积层和池化层有什么区别
19、 防止过拟合有哪些方法
20、dropout咋回事讲讲
21、relu
22、神经网络为啥用交叉熵。
23、注意力公式
24、论文flow情况
25、Flappy.Bird开发者,怎么利用DNQ方法强化学习你的游戏AI
26、LeNet-5结构
27、推导LSTM正向传播和单向传播过程 28、LSTM原理,与GRU区别
29、DNN的梯度更新方式
30、 CNN为什么比DNN在图像识别上更好 32、LSTM和Naive RNN的区别
33、神经网络为啥用交叉熵。
34、注意力公式
35、Inception Score 评价指标介绍
36、使用的 CNN 模型权重之间有关联吗? 37、CycleGAN 原理介绍一下
38、训练 GAN 的时候有没有遇到什么问题 39、百度实习:CPM 模型压缩怎么做的?有压过 OpenPose 吗?
40、用过哪些 Optimizer,效果如何
41、图像基础:传统图像处理方法知道哪些,图像对比度增强说一下
42、介绍一下图像的高频、低频部分,知道哪些图像补全的方法
43、百度实习:模型压缩的大方向。CPM 模型怎么压缩的,做了哪些工作?
44、Depthwise 卷积实际速度与理论速度差距较大,解释原因。
45、RetinaNet 的大致结构画一下
46、RetinaNet为什么比SSD效果好