wang6562009的专栏

以前看论文和博客的时候经常看到自回归模型，自编码模型，感觉云里雾里的。今天搜了搜，看清了本质。自回归语言模型，说白了就是通过上文一步一步预测下文，不能看见未来信息的模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型自编码语言模型就是 类似于bert 这种，使用了 mask LM 的，可以使用上下文语境信息的。这也是为什么bert 是双向的原因。区别与bi lstm 这种，使用两层网络的...

之前一直对bert 预训练结果是怎么来的感兴趣，今天参考了下github 上的代码，跑了一边终于知道是怎么来的了，在这分享下。代码地址：codertimo/BERT-pytorch: Google AI 2018 BERT pytorch implementation (github.com)https://github.com/codertimo/BERT-pytorchbert 模型训练的任务：在bert 模型中，主要干了两个事，一是判断两句话 是否是上下文，二是从这两句话中...

统计语言模型 基于概率的判别模型。统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。给定一个词汇集合 V，对于一个由 V 中的词构成的序列S = 〈w1, · · · , wT 〉 ∈ Vn，统计语言模型赋予这个序列一个概率P(S)，来衡量S 符合自然语言的语法和语义规则的置信度。用一句简单的话说，统计语言模型就是计算一个句子的概率大小的这种模型。基本语言模型公式：P(w1,w2,w3…,wi)=P(w1)P(w2|w1)P(w3|w1,w..

nlp词向量之cbow

之前一直不明白多分类任务的混淆矩阵，今天研究了一下。拿一个三分类任务来说 "cat", "dog","bird"，有8个预测结果预测值：[dog, dog, cat ,cat, cat, dog, bird, cat]真实值：[dog, cat, cat, cat, bird, bird,cat, cat]要对每一个类别做混淆矩阵。拿cat类来说，真实值是cat, 预测值也是cat 也就是TP 值3， 的值是 2， 真实值是不是cat,但预测值是cat, 也就是FP的值是1 ， 真实值是ca

记录一下python3 post 请求的发送方式，省的每次现查import jsonimport urllib.parseimport requestsimport jsonheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck...

记录一下线性回归推导。以后多写写博客，多记录线性回归公式其中，w0为参数，x0 为样本值，b 为偏执项可以记为 (1)其中，wT为转置矩阵。预测样本和真实值之间存在误差 其中为误差对于每个样本都存在误差 (2)假设误差是服从独立分布的，并且服从高斯分布，则有 (3)将（2）代入（3）则有条件概率 (4)在已知条件概率的情况下，可以...

C语言实现Openssl+CURL+nginx 单向认证

最近调研了LIN总线，记录一下，以备查找。LIN总线：     针对汽车分布式电子系统而定义的一种低成本的串行通讯网络。基于SCI(UART)数据格式，采用单主控制器/多从设备的模式，是UART的一种特殊情况。LIN网络中节点数量不能超过16个，否则节点增加将会导致网络阻抗，导致环境条件变差。同步机制：       主节点在报文帧的头部发送同步间隙，标记报文帧的开始。