DEEPLEARNING
文章平均质量分 69
半九拾
凡你能说的,你说清楚。凡你说不清楚的,留给沉默。
展开
-
[NLP]keras模型部署加速(ONNX Speed Keras_Model Inference)
目录使用如下方法,可将Keras_model写成pb文件tf2onnx 将pbfile转成onnx背景:用keras 训练 NER 模型,模型架构为:Roberta_CRF。整个模型保存下来,1.2G 左右。欲部署在cpu环境下,需要对模型进行压缩和加速。没有找到bert的蒸馏后的中文预训练模型。整体方案是:keras_weights -> tf_pb_model(freeze graph) -> tf2onnxps:直接使用keras2onnx,因为tran原创 2022-04-20 15:02:17 · 1424 阅读 · 0 评论 -
[OCR]基于垂直投影的单行文字图像_字分割
背景:面临一个银行票据识别任务。目标是:将一行金额或日期描述文本作OCR识别。由于数据包含手写体和多版本多字体机打文字,采用单文字拼接方式做数据增强。数据增强思路:1、将单行文字图像切成单字分别存储,得到某个字的多个表达形式集合。2、对于每一条模拟label,在某字的表达形式集合中采样。3、拼接字生成增强数据。涉及到一些问题的解决:1、cv2 读写中文目录报错的问题。2、切分成字的过程要考虑原始图像的明暗变化,实现不同明暗程度下的单...原创 2022-02-18 14:45:10 · 2173 阅读 · 0 评论 -
ckpt 转 pb 模型
tf1.12checkpoints like :we should know our input and output layers’ name:now the code to make the pb is:import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import tensorflow as tfsave_dir = 'checkpoints/'save_path = os.path.join(save_dir, 'best_val原创 2021-05-17 14:11:57 · 190 阅读 · 0 评论 -
图像变换与平面坐标系的关系
转载自:[1]http://blog.csdn.net/tangyongkang[2]https://zhuanlan.zhihu.com/p/74597564坐标旋转变换公式(围绕原点)如图, 在二维坐标上,有一点, 直线 的长度为r, 直线 和 轴的正向的夹角为。 直线 围绕原点做逆时针方向 度的旋转,到达。那么有: (1.1) (1.2)其中代入(1.1), (1.2) ,用行列式表达如下:综上:将图形围绕原点逆时针方...转载 2020-05-22 14:00:28 · 855 阅读 · 1 评论 -
【NLP】LSTM总结记录
前言如果有一天,你发现有大佬会看你写的东西,你感觉一切的一切都变得有意义了。好比一个资质极差的凡人,终于发现自己可以凭借后天的极限奋斗,能有希望入道成仙,因而欢喜无尽。希望未来的那么一天,也有人会跟我说一句:吾道不孤也!----感谢boss上跟我聊过的这位大佬!这篇文章写一些关于LSTM的总结。RNN为了更加好的建模一些序列化信息,比如文本,语音,我们有了RNN(Recurre...原创 2020-05-08 09:16:37 · 2168 阅读 · 0 评论 -
FASTAI and Fine-Tuning BERT with FastAI
这是一篇笔记类型文章,主要是从新学习一下fastai,和实践“pytorch-pretrained-BERT”和“pytorch-transformers”对接fastai 后简洁快速实现bert模型的训练和执行任务。我还是一个小白,大佬看到我的文章奋起拍砖的时候,还请不要打脸。--------现在还只能靠脸吃饭。感谢!The Basics of Fast AIFastai框架基...原创 2019-12-26 15:58:22 · 788 阅读 · 0 评论 -
NVIDA apex 安装错误
apex配置步骤:1、下载(可以下载到任意位置)git clone https://github.com/NVIDIA/apex.git2、进入目录cd apex3、安装pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" . 安装时出现ERRI...原创 2019-12-25 17:14:37 · 4604 阅读 · 0 评论 -
【NLP】bilstmCRF模型进行中文命名实体识别的实战
写在前面纵观接触到的NLP任务,我们发现了,绝大部分任务或多或少地依赖NER的能力。之前仓促地总结归纳了一篇关于命名实体识别的介绍性博客,但这只能非常有限的从前辈大神成熟的理论和我不成熟的思考中,得到如萤火之光般,稍纵即逝的短暂性感悟。而这之后,面对同样的问题和任务,依旧一头雾水,没有任何获得感让人内心焦躁,各位大兄弟,不知道你们是否也有同感呢?不管怎样,实践出真知,决定还是自...原创 2019-11-08 15:51:58 · 3385 阅读 · 3 评论 -
【NLP】seq2seq&attention文本摘要实现
Seq2seq文本摘要总结目录前言结构EncoderATTENTIONDecoderTrainingevaluate前言之前尝试用textRank+NMF做长文本摘要,但textRank是基于句子间距离的,其结果是文本中句子的重要性排序,输出的是文本中现成的句子。这对于文章内容的理解是不够的。当某个思想需要用多个句子表达,或者长文本中包含过于复杂...原创 2019-09-26 13:19:34 · 5648 阅读 · 12 评论 -
【NLP】命名实体识别(NER)的BiLSTM-CRF模型
目录NER 的各种方法基于字的BiLSTM-CRF模型CRF层详解Emission scoreTransition scoreCRF loss function代码模型效果骚年,来一份“人民日报”吗?骚年,你搞懂了LSTM了没?有“人民日报”懂LSTM,我们就开车出发啦!NER 的各种方法对于NER 的各种方法基本上归于三类方法:...原创 2019-09-12 16:26:34 · 6021 阅读 · 0 评论 -
windows下的pytorch和torchvision
终于到了我们想要用RNN做点什么事情的时候了。可是tensorflow对小白来说,是多么的不友好啊。作为一个即将在三五年之后成为python界精英的我来说,选择pytorch是一个不错的选择。那么pytorch 和tensorflow有什么区别呢?嗯,我也不知道。哪一个更有市场?谁是未来?哪一个更更方便?sorry,百度能查到的我一般都不会写出来的。2018年4月25号,PyT...原创 2019-09-04 14:25:21 · 3042 阅读 · 2 评论