Grin*-CSDN博客

转载 48 全连接卷积神经网络 FCN [动手学深度学习v2]

1. FCN是用深度神经网络来做语义分割的奠基性工作；它用转置卷积层来替换CNN最后的全连接层，从而可以实现每个像素的预测。2. 初始化转置卷积层 ```python # 利用双线性插值来初始化卷积核参数 def bilinear_kernel(in_channels, out_channels, kernel_size): factor = (kernel_size + 1) // 2 if

2022-01-19 15:59:39 933

原创 47 转置卷积 [动手学深度学习v2]

转置卷积卷积不会增大输入的高宽，通常要么不变、要么减半；转置卷积则可以用来增大输入高宽。Y[i:i+h,j:j+w]+=X[i,j]⋅KY[i: i+h, j: j+w]+=X[i, j] \cdot KY[i:i+h,j:j+w]+=X[i,j]⋅K如果卷积将输入从(h,w)(h, w)(h,w)变成了(h′,w′)(h', w')(h′,w′)，同样超参数的转置卷积则从(h′,w′)(h', w')(h′,w′)变成(h,w)(h, w)(h,w)。代码实现import t..

2022-01-18 16:33:19 598

原创 44 物体检测算法：R-CNN，SSD，YOLO [动手学深度学习v2]

R-CNN 图1.R-CNN模型使用启发式搜索算法来选择锚框；使用预训练模型来对每个锚框抽取特征；训练一个SVM来对类别分类；训练一个线性回归模型来预测边缘框偏移。兴趣区域（RoI）池化层给定一个锚框，均匀分割成n×mn \times mn×m块，输出每块里的最大值；不管锚框多大，总是输出nmnmnm个值。图2.一个2 x 2的兴趣区域汇聚层Fast R-CNN 图3.Fast R-CNN模型使用CNN对图片抽取特征；使用Selective search基于原..

2022-01-15 16:33:48 816

原创 36 数据增广 [动手学深度学习v2]

数据增强：增加一个已有数据集，使得有更多的多样性；在语言里面加入各种不同的背景噪音；改变图片的颜色和形状。图像增广import torchimport torchvisionfrom torch import nn# 左右翻转图像torchvision.transforms.RandomHorizontalFlip()# 上下翻转图像torchvision.transforms.RandomVerticalFlip()# 随机剪裁shape_aug = torchv..

2021-12-20 20:35:16 2218

原创 34 多GPU训练实现 [动手学深度学习v2]

多GPU训练实现import torchfrom torch import nn# 将参数复制到其他GPU上def get_params(params, device): new_params = [p.clone().to(device) for p in params] for p in new_params: p.requires_grad_() return new_params# 将所有向量相加，并将结果广播给所有GPUdef allre..

2021-12-18 11:49:22 1087

原创 33 单机多卡并行 [动手学深度学习v2]

常用并行方案：数据并行；模型并行；通道并行（数据+模型并行）；数据并行：将小批量分成nnn块，每个GPU拿到完整参数计算一块数据的梯度；通常性能更好。模型并行：将模型分成nnn块，每个GPU拿到一块模型计算它的前向和反向结果；通常用于模型大到单GPU放不下。当一个模型能用单卡计算时，通常使用数据并行拓展到多卡上；模型并行则用在超大模型上。...

2021-12-18 10:44:11 672

原创 28 批量归一化 [动手学深度学习v2]

为什么需要批量归一化？损失出现在最后，后面的层训练比较快【梯度大】；数据在最底部，底部的层训练较慢【梯度小】；底部层一变化，所有都得跟着变，最后的那些层需要重新学习很多次，导致收敛变慢【底层尝试抽取一些很底层的特征，比如局部、边缘、很简单的纹理信息】。我们可以再学习底部层的时候避免变化顶部层吗？这就是批量归一化要考虑的问题。批量归一化固定小批量里面的均值和方差μB=1∣B∣∑i∈Bxi and σB2=1∣B∣∑i∈B(xi−μB)2+ϵ\mu_{B}=\..

2021-12-04 16:15:16 805

原创本地端口绑定服务器端口

端口绑定问题本地端口绑定服务器端口ssh -L localhost:port:localhost:port name@ip

2021-11-30 15:31:02 394

原创 23-29 经典网络架构 [动手学深度学习v2]

LeNet（1998）Figure.1 Data flow in LeNet. The input is a handwritten digit, the output a probability over 10 possible outcomes.LeNet是早期成功的神经网络；先使用卷积层来学习图片空间信息，然后通过池化层来降低卷积层对图片的敏感度，最后使用全连接层来转换到类别空间。AlexNet（2012）Figure.2 From LeNet (left) to AlexNet ..

2021-11-29 21:13:04 2119

原创 22 池化层 [动手学深度学习v2]

卷积层对位置非常敏感池化层可以缓解卷积层对位置的敏感性；返回窗口中的最大或平均值；在每个通道上单独运算；同样有窗口大小、填充、和步幅作为超参数。实现池化层的正向传播import torchdef pool2d(X, pool_size, mode='max'): p_h, p_w = pool_size Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1)) for i in range(Y.s..

2021-11-28 20:51:16 2377

原创 21 卷积层里的多输入多输出通道 [动手学深度学习v2]

多个输入通道：每个通道都有一个卷积核，结果是所有通道卷积结果的和输入X\mathbf{X}X：ci×nh×nwc_i \times n_h \times n_wci×nh×nw核W\mathbf{W}W：ci×kh×kwc_i \times k_h \times k_wci×kh×kw输出Y\mathbf{Y}Y：mh×mwm_h \times m_wmh×mwY=∑i=0ciXi,:,:∗⋆Wi,:,:\mathbf{Y}=\sum_{i=0}^{c_{i}} \mathbf..

2021-11-28 18:31:44 254

原创 19 卷积层 [动手学深度学习v2]

两个原则：平移不变性局部性这两个在图片里面找模式的原则启发了之后的设计。重新考察全连接层将输入和输出变形为矩阵（宽度，高度）将权重变形为4-D张量（hhh, www）到（h′h'h′, w′w'w′）hi,j=∑k,lwi,j,k,lxk,l=∑a,bvi,j,a,bxi+a,j+bh_{i, j}=\sum_{k, l} w_{i, j, k, l} x_{k, l}=\sum_{a, b} v_{i, j, a, b} x_{i+a, j+b}hi,j=k,l∑..

2021-11-28 11:54:14 461

原创 16 PyTorch神经网络基础 [动手学深度学习v2]

参数绑定在不同的网络之间共享权重shared = nn.Linear(8, 8)net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1))print(net[2].weight.data[0] == net[4].weight.data[0])# tensor([True, True, True, True, True, True, True, Tr..

2021-11-27 11:17:30 666

原创 13 丢弃法 [动手学深度学习v2]

无偏差的加入噪音对x\mathbf{x}x加入噪音得到x′\mathbf{x}^{\prime}x′，我们希望E[x′]=x\mathbf{E}\left[\mathbf{x}^{\prime}\right]=\mathbf{x}E[x′]=x丢弃法对每个元素进行如下扰动xi′={0 with probablity pxi1−p otherise x_{i}^{\prime}= \begin{cases}0 & \text { wi..

2021-11-24 19:22:23 446

原创 12 权重衰退 [动手学深度学习v2]

使用均方范数作为硬性限制通过限制参数值的选择范围来控制模型容量min⁡ℓ(w,b) subject to ∥w∥2≤θ\min \ell(\mathbf{w}, b) \quad \text { subject to }\|\mathbf{w}\|^{2} \leq \thetaminℓ(w,b) subject to ∥w∥2≤θ通常不限制bbb (限不限制都差不多)小的θ\thetaθ意味着更强的正则项使用均方范数作为..

2021-11-22 21:15:51 524

原创 09 Softmax回归+损失函数+图片分类数据集 [动手学深度学习v2]

Huber’s Robust Lossl(y,y′)={∣y−y′∣−12 if ∣y−y′∣>112(y−y′)2 otherwise l\left(y, y^{\prime}\right)= \begin{cases}\left|y-y^{\prime}\right|-\frac{1}{2} & \text { if }\left|y-y^{\prime}\right|>1 \\ \frac{1}{2}\left(y-y^{\prime..

2021-11-17 20:31:11 392

原创 06 矩阵计算 [动手学深度学习v2]

主要是关于矩阵的求导。∂y∂x\frac{\partial y}{\partial \mathbf{x}}∂x∂y [yyy是标量，x\mathbf{x}x是列向量，导数是行向量]x=[x1x2⋮xn],∂y∂x=[∂y∂x1,∂y∂x2,⋯ ,∂y∂xn]\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n\end{bmatrix}, \quad \frac{\partial y}{\partial \mathbf{x}}

2021-11-08 22:55:26 651

原创 04 数据操作+数据预处理 [动手学深度学习v2]

[04] 数据操作+数据预处理访问元素一个元素：[1,2]：第一行，第二列；一行：[1, :]：第一行所有元素；一列：[:, 1]：第一列所有元素；子区域：[1:3, 1:]：第一行到第三行，第一列到最后一列所有元素；子区域：[::3, ::2]：隔三行，隔两列的所有元素。(如下图所示)AppData\Roaming\Typora\typora-user-images\1636208433410.png)]广播机制a = torch.arange(3).reshape((3

2021-11-06 23:11:56 176

原创因果推断----中介公式

中介公式假如变量之间没有混杂，M是处理X和结果Y之间的中介物，则自然间接效应为：NIE=∑m[P(M=m∣X=1)−P(M=m∣X=0)]×P(Y=1∣X=0,M=m)\text{NIE} = \sum_m[P(M=m|X=1) - P(M=m|X=0)] \times P(Y=1|X=0, M=m)NIE=m∑[P(M=m∣X=1)−P(M=m∣X=0)]×P(Y=1∣X=0,M=m)中括号内的表达式代表X对M的影响，乘号后的表达式代表M对Y的影响（当X=0时）。...

2021-02-14 19:33:19 966

原创因果推断----必要因和充分因

必要因（或“若非因”）和充分因必要因：已知张三堵住消防通道（X=1），并且李四死了（Y=1），假如X为0，那么李四还活着（Y=0）的概率是多少？必要性概率PNPNPN为P(YX=0=0∣X=1,Y=1)P(Y_{X=0}=0|X=1, Y=1)P(YX=0=0∣X=1,Y=1)充分因：被告向受害者开了一枪，但没有击中。在受害者逃离现场的过程中，他碰巧被一架坠落的钢琴砸死了。如果X=0X=0X=0且Y=0Y=0Y=0，即被告没有向受害者开枪，且受害者没有跑到钢琴下。然后我们要问的是，在这种

2021-02-10 20:48:55 945

原创因果推断----do演算

do演算”合法“的do表达式变换：规则1：如果我们观察到变量W与Y无关（其前提可能是以其他变量Z为条件），那么Y的概率分布就不会随W而改变。即P(Y∣do(X),Z,W)=P(Y∣do(X),Z)P(Y|do(X), Z, W) = P(Y|do(X), Z)P(Y∣do(X),Z,W)=P(Y∣do(X),Z)上述等式成立的条件是，在我们删除了指向X的所有箭头后，变量集Z会阻断所有从W到Y的路径。在“火灾→烟雾→警报”的例子中，W=火灾，Z=烟雾，Y=警报，Z阻断了所有从W到Y的路径（此

2021-02-08 10:32:51 1970

原创因果推断----悖论

悖论任何声称能够解决悖论（特别是那些经过几十年仍未得到解决的悖论）的方法都应该符合一些基本标准。第一，它应该能够解释为什么悖论会令人困惑或让人拒绝相信。第二，它应该能够确定悖论可能出现的场景类别。第三，它应该能够告诉我们，在哪些情况下悖论不可能发生（如果确实存在这种情况的话）。第四，当悖论真的发生，而我们必须在两个看似合理但矛盾的陈述中做出选择时，它应该能够告诉我们哪个说法是正确的。...

2021-02-03 19:59:46 341

原创因果推断----去混杂

去混杂混杂可以简单地定义为导致P(Y|X)≠P(Y|do(X))，即两个概率出现差异的所有因素。为了去除X和Y中的混杂，我们只需要阻断它们之间的每个非因果路径，而不去阻断或干扰所有的因果路径就可以了。更确切地说，我们将后门路径（back-door path）定义为所有X和Y之间以指向X的箭头为开始的路径；如果我们阻断了所有的后门路径（因为这些路径允许X和Y之间的伪相关信息在管道中流通），则我们就完成了对X和Y的去混杂。如果我们试图通过控制某一组变量Z来实现这一点，那么我们还需要确保Z的任何成员都不是X

2021-01-31 20:40:02 880

原创因果推断----因果关系之梯

因果关系之梯关联（第一层级）：通过观察寻找规律。如果观察到某一事件改变了观察到另一事件的可能性，我们便说这一事件与另一事件相关联。基于被动观察做出预测。典型问题是“如果我观察到…会怎样？”当今的人工智能仍处于第一层级，强人工智能的目标是制造出拥有人类智能的机器，让它们能与人类交流并指导人类的探索方向。而深度学习只是让机器具备了高超的能力，而非智能。这种差异是巨大的，原因就在于后者缺少现实模型。例如，如果无人驾驶汽车的程序设计者想让汽车在新情况下做出不同的反应，那么他就必须明确地在程序中添加这些新反

2021-01-22 21:30:22 1325

空空如也

空空如也