- 博客(55)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Poppler in path for pdf2image
解决办法：ubuntu 运行命令 apt-get install qpdf poppler-util。在pdf保存为图片时候，convert_from_pathubuntu报错。
2023-10-13 14:10:26
521
原创 Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习
1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping。3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。
2023-07-12 09:00:50
118
原创 GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling翻译理解
encoder-deconder模型采用再encoder部分双向attention，在decoder部分单向attention，在摘要提取回应生成 DeBERTa。本模型提出的是自回归空白填充（autoregressive），从题目上看，没什么创新，具体的，随机掩盖连续得tokens与自编码思想相同，顺序得重构对应得掩盖连续spans，遵循自回归预训练，如果单独，从这几句话来讲，说实话和 DeBERTa完全一样，唯一不同的是Deberat是在encoder-decoder decoder部分生成目。
2023-07-04 09:32:51
742
原创 ernie-layout笔记
0 , 142 , 285 , 428 , 571 , 714 , 857 , 1000]从结果来看，7个x坐标恰巧落在0--1000范围内，所以猜测这样缩放feature-map 7*7 坐标到0-1000范围内，与字符坐标对应。基于OCR识别的文字以及对应的坐标，first 识别文档的元素（paragraphs，lists，tables，fugures）然后使用特殊的算法识别所在不同文档元素的字符之间的逻辑关系，从而获得准确的阅读顺序；坐标信息映射为hidden-size的embedding。
2023-06-21 11:24:56
618
原创 QLORA: Efficient Finetuning of Quantized LLMs大模型论文讲解
QLORA首次提出了量化4bit而没有任何性能的损失，作者提出了一种新的高精度技术来量化预训练模型参数到4bit，并且添加了一个小的可学习的低秩适配权重，他的参数更新通过反向传播梯度量化的权重；为LLM的每一层添加了少量的可训练参数（适配器），并冻结了所有原始参数。这样对于微调，只需要更新适配器权重，这可以显著减少内存占用。具体量化博客讲的不错。主要是为了更好地理解Qlora如何利用量化较少训练内存，学习永无止境，紧随其后；
2023-06-21 09:29:26
153
原创 RocketQA:段落检索
利用其他gpu的passage经过模型获取的embedding，作为本次的负样本；如果是单个gpu训练则使用折中的方式，以累积的方式来实现一个正利的question见多个负样本；d.用收集的新问题利用交互模型去预测新的标签数据，只选择置信度较高的作为新的训练数据；首先用一个训练好的交互模型，去除非常像“假负例”的样本--f1，论文中说交互模型一般都比双塔模型效果要好；（1）：采用夸gpu的负样本增强功能取训练模型，来增加模型的对比。（3）利用cross-模型（交互模型）对无标签数据打标签，数据增强；
2022-10-18 10:50:31
435
1
原创 Ubuntu 内存不足时的使用c++: internal compiler error: Killed (program cc1plus)
增加命令：swaponUbuntu | 你的内存不够啦：c++: internal compiler error: Killed (program cc1plus)_搞嵌入式的Lucas-CSDN博客
2022-03-01 13:36:06
972
原创 重要指令和CMake常用变量
6.3.1 重要指令 * cmake_minimum_required -- 指定CMake最小版本要求 语法：cmake_minimum_required(VERSION versionNumber)#CMAKE最小版本要求为2.8.3cmake_minimum_required(VERSION 2.8.3)*project-定义工程名称，并可指定工程支持语言语法：project(projectname[CXX][C][JAVA])1#指定工程名为HELLOWO...
2021-09-17 10:00:22
178
原创 keras 的实现unilm的核心代码讲解
在苏神写的unlim代码，本身由于keras不友好的构件图逻辑判断，所以没办法只能按照原始tensorflow去重新理解一下，为torch的模型蒸馏提供基础。 首先我们假设Input-Segment的数值为：a=tf.constant([[0,0,0,0,1,1,1,1,1,1]])之所以第一个句子为0，原因是下边我们需要计算第二个句子预测每一时刻time_step需要几个单词信息第一行代码为： idxs = K.cumsum(a, axis=1)此行代码得到的结果为：[[..
2021-08-23 15:24:08
410
原创 二.GDB调试过程
DGB 主要功能 : 设置断点；使程序在指定的代码行暂停执行；单步执行便于调试；查看程序中变量值的变化；动态改变程序的执行环境；常用调试命令参数调试开始 执行 gdb [exefilename] 进入gdb调试程序。其中exefilename要调试的可执行文件名称。help： 帮助命令run(r) #重新开始运行文件（run-text：加载文本文件，run-bin 加载二进制文件）start #单步执行，运行程序，停在第一行执行语句中。list(l) #查看源代码...
2021-06-25 09:33:43
434
原创 pip 离线安装
在有网的相同python环境下载对应依赖pip download pymysql -d "D:\pipDownloadTest"在另外一台机器安装命令pip install --no-index pulp --find-links=./pip_ins/
2021-06-24 15:28:10
2336
原创 c++编译动态库静态库笔记以及动态库
假设既有一个这样的目录其中include和src文件夹包含了头文件和原始代码文件，main.cpp调用swap.cppmain.cpp代码如下：#include <iostream>#include "swap.h"using namespace std;int main(int args,char **argv){ int val1=10; int val2=20; cout<<"before swap:"<...
2021-06-22 09:31:41
251
原创 tensroflow-serving部署自己模型
经过一系列测试，tensorlfow-serving确实要比直接利用flask部署快非常多，虽然网上也有很多有关怎么把自己的训练好的模型部署到tensorlfow-serving上。但是为了有一个自己完整的记录，还是写了这样的经验供大家参考。训练自己的tensorflow模型或者直接使用预训练的bert模型，这里我采用的tensorflow1.15.0版本。最终生成的是如下结构的模型文件：如果利用预训练模型，在重加在参数的时候我是使用的加载模型所以在预训练模型里边添加一个checkpo..
2021-05-28 11:28:21
385
2
原创 tfrecord 预测是batch_size的维度为？号原因
由于在于预测是，每一个数据都不能丢弃，所以在tfrecord的读取时tf.contrib.data.map_and_batch( lambda record: _decode_record(record, name_to_features), batch_size=batch_size, drop_remainder=drop_remainder))drop_remainder的设置True Fal...
2021-05-12 15:12:17
260
翻译 阅读理解多选择题模型消除选项的模型 A Model for Eliminating Options for Reading Comprehension
虽然已经此文章的相关翻译，但是感觉介绍的并不清楚，并且本文章把论文的Theano更改成了tensorflow版本，并且尝试增加bert模型的修改。含有多个选项的阅读理解，需要人在给定{passage，question}对的前提下，选择n个选项中的最优的一个选择项作为答案。当前的state of the art方法是利用question对passage 进行attention操作得到一个综合表示，然后与选择与选项相似度最高的作为答案。但是人类去做这样的题目不仅集中于选项，主要也采用了排除和选择两种操作。.
2021-03-13 11:07:01
234
翻译 Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base（笔记）
introduction组织世界上的事实并且把它们存储成结构化的数据逐渐变成开源域问答的重要资源，例如：DBPedia (Auer et al., 2007) and Freebase (Bollacker et al., 2008)，大部分的KBQA都是基于语义解析。把问题转化为语义表示，然后转化为KB查询。答案能够简单地通过查询得到，同时，语义解析能够提供一个深度理解问题的方法，不仅能够提供一个比较好的答案给用户，还能提供给可解释信息给开发者，针对于错误信息。大部分传统的语义解析方法与知识库脱钩，
2020-09-14 09:58:59
690
原创 基于中文哪吒NEZHA的FLAT的命名实体识别实现与探讨（一）
哪吒bert的基本理解哪吒是华为公司针对中文的bert预训练模型，首选感谢华为公司提供了这么好的开源项目，通过对哪吒论文的阅读与理解哪吒的重点主要放在三处改进之处，但是凭自己说这三点都是现成的：1、Functional Relative Positional Encoding 相对位置编码；2、Whole Word Masking strategy 全词mask策略，这个和哈工大的差得多，可以看源码；3、Mixed Precision Training and the LAMB Optimizer
2020-06-29 22:27:16
3147
8
原创 实体识别类别标注
当我们要对字符串中的实体进行标注时，需要寻找到实体在字符串的开始位置代码如下：def _index_q_list_in_k_list(q_list, k_list): """Known q_list in k_list, find index(first time) of q_list in k_list""" q_list_length = len(q_list) #对应实体的实际长度 k_list_length = len(k_list) #对应的句子长度 for
2020-06-10 10:33:50
736
翻译 哪吒bert论文的讲解以及命名实体识别代码NEZHA:NEURAL CONTEXTUALLZED REPRESENTATION FOR CHINESE LANGUAGE UNDERSTANDING
摘要： 语训练模型由于能够获取深度上下文信息在多个自然语言理解获得巨大成功，这种模型通过预训练大量无标签语料得到。当前版本的NEZHA是基于BERT模型经过一系列改进验证得到的模型，其中改进的包括函数式位置编码FunctionalRelative Positional Encoding，全词mask策略，Whole Word Masking strategy，Mixed Precision Training，LAMB Optimizer。引言 ERNIE-Baidu利用e ML...
2020-06-09 08:59:46
1255
原创 python 子字符串在字符串中所有的位置代码
import re entity_startindex = [i.start() for i in re.finditer(temp_label[0], sentecen)]其中temp_label[0]是子字符串，sentecen是待查找的字符串，如果多次出现都会查找到首位置的index下标
2020-06-01 09:45:45
4302
原创 pycharm链接带cuda的docker，出现在pycharm训练时不加载cuda问题，出现
1、在docker环境中，sudo ldconfig2、https://blog.csdn.net/sinat_33761963/article/details/86522518
2020-03-17 15:43:38
469
原创 关于bidirectional_dynamic_rnn出现 Dimensions of inputs should match问题
在搭建双向BIRNN模型的时候，调用tensorflow自动展开函数bidirectional_dynamic_rnn(cell_fw, cell_bw, data, dtype=tf.float32)时候出现异常：InvalidArgumentError (see above for traceback): ConcatOp : Dimensions of inputs should match...
2020-03-16 16:42:43
998
原创 Albert 论文相关笔记
albert 的主要改进点在于两点：1、因式分解词汇embedding参数（当然和数学里边的因式分解不一样），这里采用了矩阵映射的方法，把大的词汇矩阵分解成两个小矩阵，把hidden_size与embedding_size进行分割，这个分割不需要增加一些无意义的参数增加，说实话这些好处都没有什么用处，作者在代码里就简单的做了矩阵的映射变换。2、另外一个就是夸层参数共享，这两个改进都在不影响精...
2019-12-25 15:55:32
363
原创 常规笔记
1.1 查看电脑cpu信息 （1）利用命令cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c （2）利用top命令，然后再按1就可以在上面看到信息；1.2 如果在机器中中文乱码，利用：export LANG=C.UTF-8 LC_ALL=C.UTF-81.3pycharm在利用docker编译环境时，...
2019-12-23 16:43:59
92
原创 Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（二）
`Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题（二）上一张讲解了怎么构造预训练的数据，这一章讲解训练过程，一起探讨与bert的区别1.2 run_pretraining.py 的讲解 我们仍然采用debug模式进行 bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_confi...
2019-12-19 11:07:16
2358
原创 Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试（一）
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题数据预处理解析1.1 create_pretraining_data.py 解析 首先，albert还是利用了bert的训练方法，所以数据处理非常相似，除了利用全词模式的更改；本文章只针对代码进行解析；代码在github搜索就能得到 作者提供了一个样例数据，这样的话，其实是非常让用户方便的进行自己数...
2019-12-15 12:14:39
4041
2
原创 pdf如何安装最新版本的poppler？
https://www.helplib.com/ubuntu/article_167696回答 1:我发现我必须在自己的系统中编译最新版本的 Poppler插件，并编译( 经过大量测试之后)的最新版本，然后编译它的最新版本。如何升级 Poppler & Evince以修复打开密码保护的PDF文件的问题首先安装所有这些先决条件进行编译：sudo apt i...
2019-11-14 10:50:54
2871
1
原创 ubuntu apt-get update 出现 0% [Working] 停止更新状态
Get:40 http://mirrors.aliyun.com/ubuntu bionic-backports/main Sources [2569 B]Get:41 http://mirrors.aliyun.com/ubuntu bionic-backports/universe Sources [2521 B]Get:42 http://mirrors.aliyun.com/ubunt...
2019-10-09 19:02:11
2885
原创 ctc解释（二）
承接一进行讲解公式上图阐述了labelling为“cat”的前后向算法路径，黑色的表示实际label，白色的表示blank，箭头表示允许的转移，前向算法更新方向与箭头一致，后向算法更新与箭头相反。公式7就是之前的说明，这两种可能也就是公式6要进行说明，为了更进一步说明以上公式的两种情况，结合图图3在公式（6）第一个条件是，如果第s步是blank的...
2019-08-22 09:11:12
483
原创 针对tensorflow 出现nan的问题解决，transformer训练出现nan的问题总结
先说明一下我运用的是韩国大佬https://github.com/Kyubyong/transformer.git的代码，来做了一个闲聊的问答模 情况说明： 由于在之前一直在用tensortflow-gpu ，在之前服务器通过问答数据处理好之后，运行这个模型，没有报错，并且运行成功，效果好不错。 更换公司后，服务器发生变化，但是环境仍然一致，都是pyt...
2019-08-16 16:35:32
4651
1
原创 CTCconnectionist temporal classfication: labelling unsegmented sequence data with recurrent（一）
CTC 是对于未分割的时序进行分类的一种经典，并且非常有效的算法，目前针对语音识别，orc都是不可或缺的技术，虽然有很多人解释了ctc，但仍然不懂，经过长时间论文以及阅读大牛们的解释，算是有所收获，借此对论文重新解释，加深印象。 摘要： 现实生活中我们需要从有噪声、未分割的数据中来学习预测labels的任务。例如在语音识别把语音转化为单词或者字符的任务，作者以...
2019-07-29 09:30:13
535
翻译 基于kbqa 的复旦大学论文解释 learning question answering over QA corpora and knowledge bases(二)
我们表示第i项其中,,所以,所以我们建立了QA与X的似然线性关系， (13)最大似然估计QA就是等价最大似然估计X，（2）通过边际化联合概率,得到,基于总体的模板t和谓语p，似然如公式（14），我们阐述整个过程如图4，...
2019-04-18 21:39:41
804
1
原创 基于kbqa 的复旦大学论文解释 learning question answering over QA corpora and knowledge bases(一)
由于我利用了大牛的论文复现了代码，但是很多同学都不太懂，由于本人代码规范不是太好，并且最近太忙所以一直没有整理这方面的，所以抽出时间，准备再重新过一遍，然后看是否能够基于本篇论文做更多的贡献，然后把代码从头梳理一遍。 那么从论文开始进行编辑。1. abstract 摘要 问答已经变成一个比较流行的方式，人类从billion数据集中获取知识的方式...
2019-03-12 22:49:50
2946
1
原创 kbqa基于复旦大学的实现代码解析完成步骤 （二）
一 已经堆主函数做了部分解释，许多细节是做了一些规则，或者利用了论文立的方法，所以要把代码和论文结合，才能看懂。 在main_qa用到了两个自己写的文件：from KBQA_small_data_version1.kbqa.connectSQLServer import connectSQLfrom KBQA_small_data.kbqa.entity_rec...
2019-03-11 11:02:50
993
4
原创 kbqa基于复旦大学的实现代码解析完成步骤 （一）
应大部分初学者的要求，本文主要针对实现的代码以及数据进行介绍；整理后的代码放在https://github.com/chenmingwei00/upload_KBQA.git训练好的数据参数在链接：https://pan.baidu.com/s/1Dv9Md94AUjlCk5JlWKll-g提取码：qwkk本次介绍的代码是按照执行顺序进行讲解，所以调式要按照这个顺序进行调式 ...
2019-03-09 13:52:51
2379
7
翻译 斯坦福nlp学习笔记（二）
cs224n-2017-notes1 这个课程一介绍nlp的基础概念开始，今天所面临的的困难，然后讨论了单词用数字向量表示的的概念，最后我们讨论单词向量的比较好的方法。 1 Introduction to natural language processing 开始什么是nlp 1.1 what is so sprcial about NLP...
2018-12-26 19:17:28
739
翻译 斯坦福nlp学习笔记（一）
针对nlp的问题，对起课程进行翻译： cs224n-2017-lecture1 1、人类的语言有哪些特点呢？ 一个人类语言就是能够特定的组织来表达其意思的系统： （1）不仅仅是一个环境信号，更多是一个交流信息；（2）用了一种编码方式，并且这种方式，一个小孩都可以能够很快的学习。 所以一种人类语言就是一个离散的、符号、...
2018-12-25 18:46:02
2741
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人