- 博客(10)
- 收藏
- 关注
RSS订阅原创 c++中关于二分查找的函数
1.c++中lower_bound函数和upper_bound函数及binary_search头文件: #include lower_bound(起始地址，末端地址，要查找的数值) 返回的是出现要查找数值的第一个位置。upper_bound(起始地址，末端地址，要查找的数值) 返回的是出现要查找数值的最后一个位置。binary_search(起始地址，末端地址，要查找的数值) 如...
2020-04-01 21:09:55
1274
原创 罗马数字转成整数
题目描述：罗马数字包含以下七种字符: I， V， X， L，C，D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如， 罗马数字 2 写做 II ，即为两个并列...
2020-03-17 21:17:24
133
原创 数据增强、模型微调的笔记
图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出现位置的依赖性。我们也可以调整亮度、色彩等因素来降低模型对色彩的敏感度。2...
2020-02-25 19:32:32
233
原创 优化算法进阶笔记
AdaGrad算法会使用一个小批量随机梯度 gt 按元素平方的累加变量 st 。在时间步0，AdaGrad将 s0 中每个元素初始化为0。在时间步 t ，首先将小批量随机梯度 gt 按元素平方后累加到变量 st ：st←st−1+gt⊙gt,其中 ⊙ 是按元素相乘。接着，我们将目标函数自变量中每个元素的学习率通过按元素运算重新调整一下：xt←xt−1−ηst+ϵ−−−−−√⊙gt,其中 η...
2020-02-25 19:28:02
157
原创 批量归一化笔记
全连接层的批量归一化mc卷积层的批量归一化mcpq1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：x=Wu+boutput=ϕ(x)批量归一化：output=ϕ(BN(x))y(i)=BN(x(i))μB←1m∑i=1mx(i),σ2B←1m∑i=1m(x(i)−μB)2,x^(i)←x(i)−μBσ2B+ϵ−−−−−−√,这⾥ϵ > 0是...
2020-02-24 20:25:45
192
原创 机器翻译及相关技术笔记
一、机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。字符在计算机里是以编码的形式存在，我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 （ISO/IEC_8...
2020-02-19 20:57:54
309
原创 卷积神经网络笔记
一、二维卷积层（用于处理图像数据）1.二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与 该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。2.二维卷积层二维卷积层将输...
2020-02-19 16:25:04
273
原创 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
一、郭拟合、欠拟合及其解决方案1.训练误差和泛化误差训练误差是指模型在训练数据集上表现出的误差，泛化误差是指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。机器学习模型应关注降低泛化误差。2.K折交叉验证K折交叉验证是为了改善由于...
2020-02-18 15:55:36
156
原创 对语言模型的想法
一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).主要是 n 元语法（ n -gram)。n元语法的摘要n 元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链（Markov chain of order n），...
2020-02-14 18:43:23
100
原创 对于线性回归、softmax与分类模型的感悟
假如你正在实现一个全连接层，全连接层的输入形状是7 \times 87×8，输出形状是7 \times 17×1，其中7是批量大小，则权重参数ww和偏置参数bb的形状分别是8x1和1x1softmax回归是一种单层神经网络直接使用输出层的输出有两个问题：一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间...
2020-02-14 18:37:34
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人