深度学习
spider_fu
这个作者很懒,什么都没留下…
展开
-
内存直接打满,GPU利用率低
内存是存储数据的,GPU用来计算如果像尽量榨干算力,就尽量把无用的内存释放掉检查代码,找到一些无用的内存占用,比如哈希桶是不是太大了,减小或者去掉一些没有用的,又很大的特征让内存的数据尽量多的都是有用的(用来计算的),就可以加大利用率...原创 2022-01-29 15:50:57 · 1584 阅读 · 0 评论 -
train_test_split划分数据集
>>> import numpy as np>>> from sklearn.model_selection import train_test_split>>> X, y = np.arange(10).reshape((5, 2)), range(5)>>> Xarray([[0, 1], [2, 3], [4, 5], [6, 7], [8, 9]])>>转载 2021-06-23 12:02:53 · 219 阅读 · 0 评论 -
利用tensorboard查看整个过程
切换到callbacks目录下,使用命令tensorboard --logdir=callbacks启动后,浏览器输入http://localhost:6006/就可以查看整体图示原创 2021-06-23 11:21:15 · 241 阅读 · 0 评论 -
StandardScaler数据标准化
from sklearn.preprocessing import StandardScalerscaler = StandardScaler()scaler_train = scaler.fit_transform(train)scaler_test = scaler.transform(test)标准化方程fit_transform:通过数据获得均值和方差并应用到数据上transform:将前面获得均值和方差应用的数据上...原创 2021-06-22 15:50:03 · 659 阅读 · 0 评论 -
textcnn学习笔记
论文笔记,文末有论文引用1、通过word2vec中的CBOW模式训练词向量2、将词向量输入如下模型设置不同窗口的卷积核将词向量降维后,做最大池化,这里有一些细节:图中词向量为双通道的,这里是指在实验中采用了基于word2vec的词向量只修改模型参数,和同时修改词向量,以及用双通道同时保留两个词向量这样的三种实验方法卷积核为2*6的形状(以红色为例) 在倒数第二层做dropout,利用伯努利分布随机得到p,w->pw,p为0时的权重就被舍弃了梯度下降时用l2规范w,当||w||原创 2021-06-18 14:30:13 · 164 阅读 · 0 评论 -
卷积神经网络
通过卷积的方式记录一些关键特征,而不是记住所有特征,避免过拟合,从而提高模型的泛化能力。卷积卷积核的数量等于输出的数量卷积的步数可以自定义输出大小等于输入的大小减卷积核的大小除以步长加一池化池化分为最大池化和平均池化最大池化:取最大值平均池化:取平均值池化的步数一般等于池化层的大小池化边界不够时可以用0padding,一般都是舍弃全连接在输入后加入十点过数量的池化和卷积最后加一个全连接层将所有矩阵展平,最后经过sigmoid函数实现分类...原创 2021-05-02 16:02:14 · 68 阅读 · 0 评论 -
神经网络
这里借用知乎上一大佬的图。这张图可以理解为多个神经元做多分类问题,这属于较简单的神经网络,我们可以增加多个隐藏层全连接增强学习能力。正向传播、反向传播正向传播通过输入不断进行计算得到预测的值,与真实的值进行计算后得到loss,反向传播通过反向一层一层的计算偏导来调整W梯度消失当使用sigmoid函数作为激活函数时,容易引起梯度消失,因为在反向传播中,函数经过求导之后,最大值是0.25,这样导致在经过多层传播后,是多个<=0.25的数进行相乘,使得后面浅层根本学习不到深层网络的内容。...原创 2021-05-02 12:38:30 · 91 阅读 · 0 评论 -
目标函数、代价函数、损失函数
目标函数的最小化就是损失函数(或代价函数,一个意思)常见的损失函数平方差损失交叉熵损失二分类为多分类扩展为一位博主总结的特别通俗易懂,我直接拷贝过来。(原博主https://blog.csdn.net/b1055077005/article/details/100152102)...原创 2021-04-29 20:20:40 · 126 阅读 · 0 评论 -
归一化与激活
在解决分类问题时,将结果映射到特定范围内,一般在(0,1)之间。例如,做分类问题时,输出的结果为(x1,x2,x3)经过归一化之后得到(0.2,0.1,0.7),认为分到类别1的概率为0.2,分到类别2的概率为0.1,分到类别3的概率为0.7常见的归一化方法...原创 2021-04-29 18:16:43 · 3961 阅读 · 0 评论 -
神经元
神经网络的最小单位-神经元输入:x1,x2,1(x可以有多个,作为特征,1可有可无,作为偏置调整)计算:第一步:加权求和w1x1+w2x2+1*b第二步:将第一步结果输入到激活函数得到输出。(激活函数的用途)目的:调整w1,w2…wn,b得到一个最佳的值(可以让相对更多的输入可以达到预期的输出)多输出神经元例如,在三分类的时候增加一个神经元。输出二分类与多分类的区别就是添加神经元,并且在最后添加归一化操作。...原创 2021-04-29 17:16:57 · 203 阅读 · 0 评论