赤道6号转向发动机的博客

创建阿里云ecs并用mac连接的步骤学了很久的机器学习/深度学习理论的东西, 最近终于开始要做一些实际项目了. 之前在可怜的8G/128G 乞丐版mac上跑, 想想这终究不是办法, 大一点的数据集就要吃不消了, 所以花了半天一天时间研究各种云服务器的优劣, 目前看到不错的选择有google cloud, 阿里云和美团云. 奈何美团云已经售罄了, google云因为GPU额度受限, 提交申请还没批...

DeepLab图像分割算分的发展过程v1:贡献: 首次把空洞卷积(dilated convolution) 引入图形分割领域基本内容:基于VGG16将最后两个池化层改为卷积层(控制分辨率不要太小)去掉全连接层(保留最后一个用于softmax分类)后三个卷积改为空洞卷积(保证感受野与去掉池化层前接近)对结果上采样后用CRF细化分割效果空洞卷积(Dilated Convolut...

参考博文: 直觉理解LSTM和GRU第一部分: LSTMLSTM的结构LSTM的原理LSTM单元之间传递两个信息, c和hCt−1C_{t-1}Ct−1​ 到 CtC_tCt​, 先遗忘一部分信息, 然后再加上新学到的一部分信息ftf_tft​控制哪些需要忘掉, C~t\tilde{C}_tC~t​用于生成新信息, iti_tit​控制哪些新信息需要保留, CtC_tCt​就完...

AlexNet 和 VGGNetVGGNet可以看成是AlexNet的加深加强版, 网络结构如图所示:与AlexNet的不同之处在于更小的filter, 更深的网络. 只有3 * 3的卷积层和2 * 2 的池化层, 简洁优美. 卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓.用连续的3 * 3 filter 堆叠, 效果要比一个大卷积filte...

一篇讲解Batch Normalization反向传播公式推导比较清楚的文章:Batch Normalization梯度反向传播推导

YoloV1一. Yolo的核心思想就是把整张图作为网络的输入, 直接在输出层回归bounding box的位置及其类别.二. 实现方法:将图像分成S*S个网格, 每个网格预测B个bounding box, 每个bounding box输出5个值, 包括p, x, y, w, h每个网格还需要输出C个类别概率. 所以给定一张图片, 网络输出维度为S * S * (5*B+C). 例如在P...

1. 课程主页(视频, 讲义, 作业)CS231n Convolutional Neural Networks for Visual Recognition2. 关于SVM的讲解, 以及与softmax classifier的比较cs231n课程讲义Linear Classification...

1. np.argsort()返回数组值从小到大的索引值举例:x = np.array([3, 1, 2])np.argsort(x)# array([1, 2, 0])2. np.flatnonzero()该函数输入一个矩阵，返回扁平化后矩阵中非零元素的位置（index）>>> x = np.arange(-2, 3)>&amp

参考资料:1.Batch Normalization原理与实战2.Internal Covariate Shift以及Batch NormalizationInternal Covariate Shift(ICS):Batch Normalization 原作者对Internal Covariate Shift的定义是: 在深层网络训练的过程中，由于网络中参数变化而引起内部结点数据分布...

参考资料:神经网络权重初始化问题深度学习之参数初始化（一）——Xavier初始化深度学习中Xavier初始化4种权重WWW的初始化方法1. 全部WWW初始化为0: 不可行如果全部权重初始化为0, 神经网络计算出来的输出值都一样，那么反向传播算法计算出来的梯度值也一样，参数更新值也一样(w=w−α∗dw)(w=w−\alpha ∗ dw)(w=w−α∗dw)。更一般地说，如果权重初始...

看了一篇好文章, 讲解交叉熵和相对熵, 之前就想弄懂, 今天仔细研究了一下.文章链接: 交叉熵（Cross-Entropy）信息量定义事件X=x0X=x_0X=x0​发生时的信息量为： 定义事件X=x0X=x_0X=x0​发生时的信息量为：I(x0)=−log(p(x0))I(x_0)=−log(p(x_0))I(x0​)=−log(p(x0​)) 一个事件发生的概率越大，则它发生时所...

# 计算两矩形IOU值, 输入为两矩形对角线(x,y)坐标def IOU(Reframe, GTframe): # 得到第一个矩形的左上坐标及宽和高 x1 = Reframe[0] y1 = Reframe[1] width1 = Reframe[2] - Reframe[0] height1 = Reframe[3] - Reframe[1] # 得到第二个矩形的左上坐标及宽和高...

参考资料: 吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法–课程笔记1. 指数加权平均(指数加权移动平均)指数加权平均是统计一个波动的指标在一段时间内的平均变化趋势, 具体公式为:vt=βvt−1+(1−β)θtv_t = \beta v_{t-1} + (1 - \beta)\theta_tvt​=βvt−1​+(1−β)θt​其中β\betaβ是...

1. 训练集 / 验证集 / 测试集数据划分比例:小数据量(10-10000)：60/20/20大数据量(1000000) : 98/1/1超大数据量: 99.5/0.25/0.25在不需要无偏评估的时候可以不需要测试集, 只有训练集和验证集. 如果需要验证集来微调参数, 就需要再划分出测试集来做无偏评估.2. 偏差 / 方差高偏差：欠拟合解决方法:使用更大的网...

吴恩达教授的DeepLearning.AI课程值得看很多遍, 每一遍都能有所收获. 看课程时收集到的有价值资料记录如下:详细课堂笔记英文版: github: mbadry1/DeepLearning.ai-Summary中文版: 吴恩达Coursera深度学习课程 deeplearning.ai 目录所有作业的完整代码:中文版: ericjjj/coursera,英文版: Kulb...

在下图中，我们可以观察到误差出现了许多小的"涨落"。 这种情况我们应该担心吗？A 需要，这也许意味着神经网络的学习速率存在问题B 不需要，只要在训练集和交叉验证集上有累积的下降就可以了C 不知道答:1. 为了减少这些’涨落’, 可以尝试增加batch_size, 从而缩小batch综合梯度方向的摆动范围.2. 如果整体曲线趋势为平缓时出现可观的"涨落/起伏", 可以尝试降低学习率...

看到一篇文章对转置卷积的原理解释得很好, 图像也非常直观一文搞懂反卷积，转置卷积