weixin_45673221的博客

一个线程更新共享变量的时候，其他任何线程都无法访问该变量。公平锁保障锁调度的公平性往往是以增加了线程的暂停和唤醒的可能性，即增加了上下文切换为代价的。总的老说使用公平锁的开销比使用非公平锁的开销要大，因此显式锁默认使用的是非公平调度策略。关键字常被称为轻量级锁，其作用与锁的作用有相同的地方：保证可见性和有序性。锁句柄是一个对象的引用。关键字仅保障对被修饰的变量的读操作、写操作本身的原子性。变量的赋值操作的原子性，那么这个赋值操作不能涉及任何共享变量的访问。变量操作的原子性，但没有锁的排他性；

FieldHolder类用于将单例实例作为静态字段保存，并使用私有静态初始化块进行懒初始化。该块仅在第一次调用getInstance()方法时执行一次。getInstance()方法返回单例实例，该实例是通过调用外部类的私有构造函数创建的。该模式的思想是将对象的创建延迟到实际需要时，以节省资源并提高性能。在单例模式的情况下，这意味着单例实例在程序第一次请求它时才会被创建。它通常用于实现单例对象的"延迟初始化"模式。是Java中Thread类中的一个。

在pytorch中实现RNN前言：循环神经网络：输出并不只是完全依赖输入，还会受到上个状态的影响ht=tanh(Whhht−1+Wxhxt)h_t=tanh(W_{hh}h_{t-1}+W_{xh}x_t)ht​=tanh(Whh​ht−1​+Wxh​xt​)yt=Whyhty_t=W_{hy}h_tyt​=Why​ht​实现：1.定义循环神经网络层import torchfrom torch import nnfrom torch.nn import functional as F.

自定义数据源DataSource前言：DataStream API介绍​Flink 中的 DataStream 程序是对数据流（例如过滤、更新状态、定义窗口、聚合）进行转换的常规程序。数据流的起始是从各种源（例如消息队列、套接字流、文件）创建的。结果通过sink返回，例如可以将数据写入文件或标准输出（例如命令行终端）。Flink 程序可以在各种上下文中运行，可以独立运行，也可以嵌入到其它程序中。任务执行可以运行在本地 JVM 中，也可以运行在多台机器的集群上。​ 基于 DataStream 派

尝试直接使用训练好的参数，进行预测使用 Lcqmc 数据集的测试集作为我们的预测数据添加链接描述加载预测数据test_ds = load_dataset("lcqmc", splits=["test"])生成预测数据predict_data_loader =paddle.io.DataLoader( dataset=test_ds.map(trans_func), batch_sampler=batch_sampler, collate_f

本章介绍训练过程中的损失函数、梯度下降、模型评估（1）损失函数# 采用交叉熵 损失函数criterion = paddle.nn.loss.CrossEntropyLoss()loss = criterion(probs, labels)交叉熵交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交

记录NLP的一些重要概念，不断更新。self-attention​ 有一种新的layer，叫self-attention，它的输入和输出和RNN是一模一样的，输入一个sequence，输出一个sequence，它的每一个输出b1-b4都看过了整个的输入sequence，每一个输出b1-b4可以并行化计算。TransformerTransformer主体框架是一个encoder-decoder结构，摒弃了RNN的序列结构，完全采用attention和全连接。encoder：

今天分析一下前向传播的整个过程。在训练之前，先解决昨天的一个疑问，我们输入的句子经过预处理后，变成了32∗3232 * 3232∗32的id矩阵，而导入的模型里面的隐藏单元是768，也就是说输入的维度应该是768，那么这32∗3232 * 3232∗32的矩阵是如何变成768维的呢？矩阵里存放的每个id值都对应着一个字，而这些字应该都有对应的embedding，而word embedding的shape是18018∗76818018 * 76818018∗768，词汇表里正好有18018行，可以确定一

本章继续分析该案例的模型搭建部分自从 2018 年 10 月以来，NLP 个领域的任务都通过 Pretrain + Finetune 的模式相比传统 DNN 方法在效果上取得了显著的提升，本节我们以百度开源的预训练模型 ERNIE-Gram 为基础模型，在此之上构建 Point-wise 语义匹配网络。前言：首先，先了解一下Pretrain+Finetune是什么预训练（Pretrain）：当我们想要搭建一个网络模型来完成一个任务时，需要初始化参数，然后开始训练网络，不断减小损失，最后得到优秀的参

本案例介绍 NLP 最基本的任务类型之一 ：文本语义匹配，并且基于 PaddleNLP 使用百度开源的预训练模型 ERNIE-Gram 搭建效果优异的语义匹配模型，来判断 2 段文本语义是否相同。本章详细分析了数据预处理的整个流程，用以学习阶段的记录。前言：文本语义匹配任务，简单来说就是给定两段文本，让模型来判断两段文本是不是语义相似。在本案例中以权威的语义匹配数据集 LCQMC 为例，LCQMC 数据集是基于百度知道相似问题推荐构造的通问句语义匹配数据集。训练集中的每两段文本都会被标记为 1（