qq_57773796的博客

原创 GPU的并行计算

分批在不同卡中计算数据，然后汇总到一张卡中更新参数最后发到各个模型中进行同步更新，类似map reduce，由于每一张卡都存了一份模型数据造成了数据冗余。batch size不能太小不然模型会出现梯度随机的情况。将模型拆开，类似于指令流水线，会造成GPU空间浪费。batch size太大会造成显卡资源不够的情况。张量并行，可以在一张GPU中进行。模型并行和数据并行可以同时进行。单机多卡--同步数据并行。激活函数可以用于列并行。

原创 transformer与bert简介

为了增强模型的表达能力，Transformer 使用多头注意力机制，即通过多个并行的自注意力模块来捕捉输入的不同部分之间的关系，每个模块有自己独立的 Query、Key 和 Value。transformer中的核心机制，允许模型在处理每个单词的时候，权衡句子中所有其他单词的相关性，与RNN不同，它能并行计算并处理序列中的所有单词。与传统的单向语言模型（如 GPT，只能从左到右生成文本）不同，BERT 能够在一个词的表示中结合它左右两边的上下文，因此可以更好地捕捉语义。

原创 float16 和 float32在模型加载和推理过程中应该如何选择

float16 和 float32在模型加载和推理过程中应该如何选择

原创 python 列表相关知识点

元组：与列表类似，是由一系列按规定顺序进行排序的元素组成，用（）创建或者tuple创建，与list区别，list是可修改的序列，而元组是不可以修改的，即创建无法修改当前元组。a.index(x,start,stop)计算元素x在列表a下标start到stop中第一次出现的位置。a.count（x）计算x在a中出现的次数，如果未出现则为0，否则为出现的次数。可以获取删除的内容 ，没有参数默认删除末尾的参数。a*x：a是list,x是int,构成一个新列表，其内容为a复制x次。删除列表中值为的参数。

原创 语言模型概述

原创 nlp的任务分类

序列标注：分词/POS Tag/NER/语义标注。句子关系判断：文本匹配/Entaiment/QA。分类任务：文本分类、情感分析。NLU:理解自然语言。NLG：生成自然语言。