泡泡龙的泡泡-CSDN博客

原创 Co-Attention、Self-Attention 和 Bi-Attention

Co-Attention、Self-Attention 和 Bi-Attention

2024-03-25 16:32:19 785

原创软注意力机制和硬注意力机制

软注意力机制就是虽然词语权重不同，但是在训练模型的时候雨露均沾，每个词语都用到，焦点词语的权重大。软性注意力（Soft Attention）机制是指在选择信息的时候，不是从N个信息中只选择1个，而是计算N个输入信息的加权平均，再输入到神经网络中计算。硬注意力机制是从存储的多个信息中只挑出一条信息来，可能是概率最大的那个词向量...

2021-12-20 10:27:25 4387

random.seed()方法改变随机数生成器的种子，可以在调用其他随机模块函数之前调用此函数。import randomrandom.seed ( [x] )调用 random.random() 生成随机数时，每一次生成的数都是随机的。但是，当我们预先使用 random.seed(x) 设定好种子之后，其中的 x 可以是任意数字，如10，这个时候，先调用它的情况下，使用 random() 生成的随机数将会是同一个。参数：x – 改变随机数生成器的种子 seed。如果你不了解其原理，你不必特别去设

2021-11-29 15:41:15 703

转载 GRU（Gate Recurrent Unit）

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢。我们在我们的实验中选择GRU是因为它的实验效果与LSTM相似，但是更易于计算。相比LSTM，使用GRU能

2021-11-19 10:07:28 322

原创特征缩放，归一化

使用特征缩放的作用是：使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。加快学习算法的收敛速度。缩放过程可以分为以下几种：缩放到均值为0，方差为1（Standardization——StandardScaler()）缩放到0和1之间（Standardization——MinMaxScaler()）缩放到-1和1之间（Standardization——MaxAbsScaler()）缩放到0和1之间，保留原始数据的分布（Normalization——Normalizer

2021-11-17 10:31:10 367

原创 saver.save和saver.restore

saver()与restore()只是保存了session中的相关变量对应的值，并不涉及模型的结构。Saver的作用是将我们训练好的模型的参数保存下来，以便下一次继续用于训练或测试；Restore则是将训练好的参数提取出来。Saver类训练完后，是以checkpoints文件形式保存。提取的时候也是从checkpoints文件中恢复变量。Checkpoints文件是一个二进制文件，它把变量名映射到对应的tensor值。一般地，Saver会自动的管理Checkpoints文件。我们可以指定保存最近的N个

2021-11-15 20:47:39 4645

原创 Deep Interest Network代码讲解

代码链接：https://github.com/zhougr1993/DeepInterestNetwork论文数据下载：http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/reviews_Electronics_5.json.gzhttp://snap.stanford.edu/data/amazon/productGraph/categoryFiles/meta_Electronics.json.gz在代码DeepInte

2021-11-14 16:17:27 1018

原创 sys.stdout.flush() 的作用

缓冲区的刷新方式：flush()刷新缓存区缓冲区满时，自动刷新文件关闭或者是程序结束自动刷新。当我们打印一些字符时，并不是调用print函数后就立即打印的。一般会先将字符送到缓冲区，然后再打印。这就存在一个问题，如果你想等时间间隔的打印一些字符，但由于缓冲区没满，不会打印。就需要采取一些手段。如每次打印后强行刷新缓冲区。参考：https://blog.csdn.net/zh54b5n64vn64654/article/details/89079164...

2021-11-14 10:46:35 370

原创模型评估指标AUC

模型评估指标AUC 、AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆

2021-11-14 10:43:25 6196 1

原创 sort 与 sorted 区别：

sort 与 sorted 区别：sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。sorted(iterable, key=None, reverse=False) 参数说明：iterable – 可迭代对象。key – 主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中

2021-11-14 09:27:27 365

原创 pycharm如何格式化代码

pycharm如何格式化代码pyCharm开个需要格式化代码，首先大家先找到上面的菜单【Code】,然后点击一下。点击【Code】的菜单之后，弹出了下拉菜单选中选择“Reformat Code”子选项。点击一下“Reformat Code”之后就可以看到代码是不是被格式化了，看起来整齐不报错了。...

2021-11-13 15:14:54 1474

原创 tensorflow

SessionSession 是 Tensorflow 为了控制,和输出文件的执行的语句. 运行 session.run() 可以获得你要得知的运算结果, 或者是你所要运算的部分.import tensorflow as tf # create two matrixes matrix1 = tf.constant([[3,3]])matrix2 = tf.constant([[2], [2]])product = tf.matmul(matrix

2021-11-13 11:00:56 2500

原创 2021-11-04 MLP 多层感知机

MLP 多层感知机Muti－Layer Perception ，MLP神经网络要解决的基本问题是分类问题。最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络不同层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。神经网络主要有三个基本要素：权重、偏置和激活函数https://www.chinait.com/industries/30661.html...

2021-11-04 10:02:06 338

原创 2021-11-04 CTR预估之Deep Interest NetWork模型原理详解

CTR预估之Deep Interest NetWork模型原理详解2018年8月发表在KDD的Paper有许多研究将DNN模型应用于CTR预估中，常见的比如，DeepFM, Wide&Deep，PNN等。这类模型将原始高维的离散特征映射为固定长度的低维embedding向量，并将embedding向量作为多个全连接层的输入，拟合高阶的非线性关系，最后通过Sigmoid等手段将输出值归一到0~1，表示点击概率。相比于传统的LR、GBDT、FM等模型，这类DNN的模型能减少大量的人工构造特征过程

2021-11-04 09:54:19 249

转载 from future import print_function

在开头加上from future import print_function这句之后，即使在python2.X，使用print就得像python3.X那样加括号使用。python2.X中print不需要括号，而在python3.X中则需要。# python2.7print "Hello world"# python3print("Hello world")如果某个版本中出现了某个新的功能特性，而且这个特性和当前版本中使用的不兼容，也就是它在该版本中不是语言标准，那么我如果想要使用的话就需要从f

2020-12-13 21:47:56 105

原创 Javaweb向数据库插入数据乱码

Javaweb向数据库插入数据乱码在连接数据库的配置文件中添加编码：?useUnicode=true&characterEncoding=utf8

2020-01-07 16:21:56 90

原创个位数统计

给定一个 k 位整数 N=dk−110k−1+⋯+d1101+d0 (0≤di≤9, i=0,⋯,k−1, dk−1&gt;0)，请编写程序统计每种不同的个位数字出现的次数。例如：给定 N=100311，则有 2 个 0，3 个 1，和 1 个 3。输入格式：每个输入包含 1 个测试用例，即一个不超过 1000 位的正整数 N。输出格式：对 N 中...

2018-11-19 21:35:57 142

泡泡龙的泡泡