Poppler in path for pdf2image 解决办法：ubuntu 运行命令 apt-get install qpdf poppler-util。在pdf保存为图片时候，convert_from_pathubuntu报错。
Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习 1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping。3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。
GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling翻译理解 encoder-deconder模型采用再encoder部分双向attention，在decoder部分单向attention，在摘要提取回应生成 DeBERTa。本模型提出的是自回归空白填充（autoregressive），从题目上看，没什么创新，具体的，随机掩盖连续得tokens与自编码思想相同，顺序得重构对应得掩盖连续spans，遵循自回归预训练，如果单独，从这几句话来讲，说实话和 DeBERTa完全一样，唯一不同的是Deberat是在encoder-decoder decoder部分生成目。
ernie-layout笔记 0 , 142 , 285 , 428 , 571 , 714 , 857 , 1000]从结果来看，7个x坐标恰巧落在0--1000范围内，所以猜测这样缩放feature-map 7*7 坐标到0-1000范围内，与字符坐标对应。基于OCR识别的文字以及对应的坐标，first 识别文档的元素（paragraphs，lists，tables，fugures）然后使用特殊的算法识别所在不同文档元素的字符之间的逻辑关系，从而获得准确的阅读顺序；坐标信息映射为hidden-size的embedding。
QLORA: Efficient Finetuning of Quantized LLMs大模型论文讲解 QLORA首次提出了量化4bit而没有任何性能的损失，作者提出了一种新的高精度技术来量化预训练模型参数到4bit，并且添加了一个小的可学习的低秩适配权重，他的参数更新通过反向传播梯度量化的权重；为LLM的每一层添加了少量的可训练参数（适配器），并冻结了所有原始参数。这样对于微调，只需要更新适配器权重，这可以显著减少内存占用。具体量化博客讲的不错。主要是为了更好地理解Qlora如何利用量化较少训练内存，学习永无止境，紧随其后；
RocketQA:段落检索 利用其他gpu的passage经过模型获取的embedding，作为本次的负样本；如果是单个gpu训练则使用折中的方式，以累积的方式来实现一个正利的question见多个负样本；d.用收集的新问题利用交互模型去预测新的标签数据，只选择置信度较高的作为新的训练数据；首先用一个训练好的交互模型，去除非常像“假负例”的样本--f1，论文中说交互模型一般都比双塔模型效果要好；（1）：采用夸gpu的负样本增强功能取训练模型，来增加模型的对比。（3）利用cross-模型（交互模型）对无标签数据打标签，数据增强；
Ubuntu 内存不足时的使用c++: internal compiler error: Killed (program cc1plus) 增加命令：swaponUbuntu | 你的内存不够啦：c++: internal compiler error: Killed (program cc1plus)_搞嵌入式的Lucas-CSDN博客
重要指令和CMake常用变量 6.3.1 重要指令 * cmake_minimum_required -- 指定CMake最小版本要求 语法：cmake_minimum_required(VERSION versionNumber)#CMAKE最小版本要求为2.8.3cmake_minimum_required(VERSION 2.8.3)*project-定义工程名称，并可指定工程支持语言语法：project(projectname[CXX][C][JAVA])1#指定工程名为HELLOWO...
keras 的实现unilm的核心代码讲解 在苏神写的unlim代码，本身由于keras不友好的构件图逻辑判断，所以没办法只能按照原始tensorflow去重新理解一下，为torch的模型蒸馏提供基础。 首先我们假设Input-Segment的数值为：a=tf.constant([[0,0,0,0,1,1,1,1,1,1]])之所以第一个句子为0，原因是下边我们需要计算第二个句子预测每一时刻time_step需要几个单词信息第一行代码为： idxs = K.cumsum(a, axis=1)此行代码得到的结果为：[[..
二.GDB调试过程 DGB 主要功能 : 设置断点；使程序在指定的代码行暂停执行；单步执行便于调试；查看程序中变量值的变化；动态改变程序的执行环境；常用调试命令参数调试开始 执行 gdb [exefilename] 进入gdb调试程序。其中exefilename要调试的可执行文件名称。help： 帮助命令run(r) #重新开始运行文件（run-text：加载文本文件，run-bin 加载二进制文件）start #单步执行，运行程序，停在第一行执行语句中。list(l) #查看源代码...
pip 离线安装 在有网的相同python环境下载对应依赖pip download pymysql -d "D:\pipDownloadTest"在另外一台机器安装命令pip install --no-index pulp --find-links=./pip_ins/
c++编译动态库静态库笔记以及动态库 假设既有一个这样的目录其中include和src文件夹包含了头文件和原始代码文件，main.cpp调用swap.cppmain.cpp代码如下：#include <iostream>#include "swap.h"using namespace std;int main(int args,char **argv){ int val1=10; int val2=20; cout<<"before swap:"<...
tensroflow-serving部署自己模型 经过一系列测试，tensorlfow-serving确实要比直接利用flask部署快非常多，虽然网上也有很多有关怎么把自己的训练好的模型部署到tensorlfow-serving上。但是为了有一个自己完整的记录，还是写了这样的经验供大家参考。训练自己的tensorflow模型或者直接使用预训练的bert模型，这里我采用的tensorflow1.15.0版本。最终生成的是如下结构的模型文件：如果利用预训练模型，在重加在参数的时候我是使用的加载模型所以在预训练模型里边添加一个checkpo..
tfrecord 预测是batch_size的维度为？号原因 由于在于预测是，每一个数据都不能丢弃，所以在tfrecord的读取时tf.contrib.data.map_and_batch( lambda record: _decode_record(record, name_to_features), batch_size=batch_size, drop_remainder=drop_remainder))drop_remainder的设置True Fal...
阅读理解多选择题模型消除选项的模型 A Model for Eliminating Options for Reading Comprehension 虽然已经此文章的相关翻译，但是感觉介绍的并不清楚，并且本文章把论文的Theano更改成了tensorflow版本，并且尝试增加bert模型的修改。含有多个选项的阅读理解，需要人在给定{passage，question}对的前提下，选择n个选项中的最优的一个选择项作为答案。当前的state of the art方法是利用question对passage 进行attention操作得到一个综合表示，然后与选择与选项相似度最高的作为答案。但是人类去做这样的题目不仅集中于选项，主要也采用了排除和选择两种操作。.
Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base（笔记） introduction组织世界上的事实并且把它们存储成结构化的数据逐渐变成开源域问答的重要资源，例如：DBPedia (Auer et al., 2007) and Freebase (Bollacker et al., 2008)，大部分的KBQA都是基于语义解析。把问题转化为语义表示，然后转化为KB查询。答案能够简单地通过查询得到，同时，语义解析能够提供一个深度理解问题的方法，不仅能够提供一个比较好的答案给用户，还能提供给可解释信息给开发者，针对于错误信息。大部分传统的语义解析方法与知识库脱钩，
基于中文哪吒NEZHA的FLAT的命名实体识别实现与探讨（一） 哪吒bert的基本理解哪吒是华为公司针对中文的bert预训练模型，首选感谢华为公司提供了这么好的开源项目，通过对哪吒论文的阅读与理解哪吒的重点主要放在三处改进之处，但是凭自己说这三点都是现成的：1、Functional Relative Positional Encoding 相对位置编码；2、Whole Word Masking strategy 全词mask策略，这个和哈工大的差得多，可以看源码；3、Mixed Precision Training and the LAMB Optimizer
实体识别类别标注 当我们要对字符串中的实体进行标注时，需要寻找到实体在字符串的开始位置代码如下：def _index_q_list_in_k_list(q_list, k_list): """Known q_list in k_list, find index(first time) of q_list in k_list""" q_list_length = len(q_list) #对应实体的实际长度 k_list_length = len(k_list) #对应的句子长度 for
关注
