- 博客(13)
- 收藏
- 关注
原创 SVM支持向量机
关于超平面 w,x都是向量,表示两个向量的内积,其几何意义是将x投影到w上的长度(即下图中)乘以w的长度||w||则相当于,即投影到w上长度等于(b取负数)的所有点的集合,即组成了平面,w自然成了该平面的法向量,决定该平面的角度,是该平面到原点的距离。所以成比例的改变w和b,超平面没有变化。,该向量的方向没改变,长度变为两倍;b->2b,该平面到原点的距离也没变化。计算平面外一点到平面的距离,即图中的 SVM硬间隔最大化SVM学习到的超平...
2021-11-28 21:42:25 356
原创 过拟合,正则化,Dropout
过拟合在训练集上表现很好,但在测试集上的泛化能力很差。这是因为模型记住了训练数据的所有特征,所以其在训练集上误差很小,但放在测试集上并不能得到好的结果产生过拟合的原因:数据量太少 模型太复杂,拟合能力太强 训练集和测试集的分布不一致 训练集噪声太多,模型拟合了噪声,导致其对正常样本的预测能力下降从模型的角度来说,若训练得到的模型太复杂,模型去拟合训练集中的每一个点,它的泛化能力就会比较差。而模型的复杂度,可以通过权值w的大小来判断。如下图过拟合形成的复杂函数,顾及到训练集中的每一个点
2021-07-17 17:27:37 514
原创 梯度方向为何变化率最大
梯度是机器学习里面的重要基础,借助梯度下降才能最小化损失函数,再逐步更新网络参数,得到最佳的函数表示。梯度的概念是基于方向导数的,单位向量的表示
2021-06-10 15:39:02 3222
原创 GAN交叉熵
标准的交叉熵是,其中n代表n种类别,代表该类别的标签值,该样本属于这一类别的概率原始GAN的目标函数是两个交叉熵期望的简化形式,即真实样本和生成样本的交叉熵相加。真实样本:其完整交叉熵是,其中分别是判别器判断该样本是真实样本(1)还是生成样本(0)的概率 生成样本:其完整交叉熵是,其中分别是判别器判断该生成样本是真实(1)还是生成(0)的概率。省略可以得到,目标函数是为了D(G(z))尽可能小,但为了与真实样本的交叉熵函数方向一致(都进行最大化),故使用1-lo...
2020-12-22 22:07:19 1541
原创 pytorch
numpy <——> torch <——> VariableNumpy 转成Tensorts =torch.Tensor(np) #np是numpy类型Torch转Numpyts.numpy()ts.numpy().squeeze() #把 维度为1的 维度删掉(5,1)-->(5, )Torch转Variableva=Variable(ts)Variable转Tensor# Variable里面只有一...
2020-12-15 16:05:38 98
原创 LSTM输入结构
为了更好理解LSTM结构,必须理解LSTM的数据输入情况。仿照3通道图像的样子,在加上时间轴后的多样本的多特征的不同时刻的数据立方体如下图所示:三维数据立方体右边的图是我们常见模型的输入,比如XGBOOST,lightGBM,决策树等模型,输入的数据格式都是这种(N*F)的矩阵,而左边是加上时间轴后的数据立方体,也就是时间轴上的切片,它的维度是(N*T*F),第一维度是样本数,第二维度是时间,第三维度是特征数,如下图所示:这样的数据立方体很多,比如天气预报数据,把样本理解成城市,时.
2020-11-27 16:38:22 18213 14
原创 LSTM:timestep,batchsize
NLP一个句子:一个sample一个句子由n个词:n个timestep一个词是k维的词向量:k个feature时间序列时间序列是一个n行m列的excel表n行:共有n个观察记录,每个时间点一次(6点、7点、8点....各观察一次) m列:每一条观察记录,由m个观察项目(6点:风速,湿度,温度,光照....)m列:m个featuren行:n个timestep所有的timestep:一个sequence;利用滑动窗口,可将一个sequenc分成多个sub_sequenc.
2020-11-14 17:27:56 3621 2
原创 LSTM(long short-time memory,长的短期记忆网络)
long short-time memory,长的短期记忆网络step1, raw text: 接触LSTM模型不久,简单看了一些相关的论文,还没有动手实现过。然而至今仍然想不通LSTM神经网络究竟是怎么工作的。……step2, tokenize (中文得分词): sentence1: 接触 LSTM 模型 不久 ,简单 看了 一些 相关的 论文 , 还 没有 动手 实现过 。sentence2: 然而 至今 仍然 想不通 LSTM 神经网络 究竟是 怎么 工作的。……step3, di..
2020-11-03 17:14:06 596
原创 CNN
https://blog.csdn.net/weixin_39568744/article/details/82250663https://www.zhihu.com/question/52668301/answer/131573702https://www.cnblogs.com/wj-1314/p/9593364.html卷积层——提取边缘特征特征MNIST既可以用全连接神经网络进行训练分类,但CNN是更优的选择,因为CNN一个厉害的地方就在于通过感受野和权值共享 减少了神经网络需.
2020-10-27 19:56:31 257
原创 数据集处理—CIFAR10
transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])trainset = torchvision.datasets.CIFAR10(root = 'CIFAR10', train = True, download = True, ...
2020-10-26 21:54:20 802
原创 Pyhton 对象名可以直接作为方法名调用
在建立CNN模型时,使用如下代码,在构建方法里面新建了一些对象,例如self.conv1,在下面的forward方法中直接把对象名作为方法名,传入变量xclass Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1=nn.Conv2d(3,6,5) self.pool=nn.MaxPool2d(2,2) self.conv.
2020-10-26 17:29:11 567
原创 神经网络 前向,反向传播过程
神经网络 前向,反向传播过程前向传播X,数据集矩阵。每一行的元素代表了一个样例的特征值x1,x2,x3... 共有n行,说明数据集一共n个样例theta,参数矩阵 行数:要生成的神经元个数 列数:上一层的输入个数 每一行的元素代表了对样例各个特征值的权重以数据集为X(5 * 3),使用上图的网络结构为例:输入层 X(5 * 3)说明数据集有5个样例,每个样例有3个特征值 针对图中的输入层a(...
2020-10-03 11:00:32 464
原创 关于偏导、梯度
导数、偏导数、方向导数、梯度、梯度下降偏导数在多元函数中,偏导数是对某一个变量单独求导,其余变量视为常数。这一过程是把图形投影到某一个坐标平面,在二维平面上进行求导。以为例,图形如下在x方向的偏导,是把当作常数进行求导。若是常数,则y方向对导数没有影响,等价于对进行求导,即把原来的三维图形投影到xoz平面上,对二维图形进行求导方向导数偏导数只能求函数值在某个坐标轴方向的变化率,方向导数是求函数值在任意方向的变化率。如下,给出函数求出该方向上的方向导数...
2020-10-03 10:52:45 3580
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人