随记
关注
分享
扫一扫
codebrid
公众号：NLP_codebrid | NLP笔记屋
展开
-
三种rouge测评方法
1. 坑爹的rouge安装2. rouge4chinese（不用安装，拿来直接用，中文）https://github.com/hpzhao/nlp-metrics/tree/master/ROUGE4Chinese3. sumeval（安装很简单，安完直接用，英文）https://github.com/chakki-works/sumeval我的使用过程：1）安装：pip ...原创 2020-01-30 18:20:39 · 3397 阅读 · 2 评论 -
torchtext.data 的 Field, RawField
今天试图更改open-nmt代码时，在preprocess阶段发现一处代码： fields = inputters.get_fields( opt.data_type, src_nfeats, tgt_nfeats, dynamic_dict=opt.dynamic_dict, src_truncate=...原创 2020-01-07 17:02:34 · 3510 阅读 · 0 评论 -
Open-NMT 使用笔记
官网：https://opennmt.net是什么：是一个开源NMT工具OpenNMTis an open source ecosystem for neural machine translation and neural sequence learning.来源：由哈佛NLP组推出，诞生于2016年年末，主版本基于Torch, 默认语言是LuaGitHub：https://...原创 2019-12-23 10:27:40 · 6701 阅读 · 1 评论 -
`pip install -e .` vs`python setup.py install`
https://www.jb51.cc/python/241778.html原创 2019-12-20 17:04:42 · 1611 阅读 · 0 评论 -
tensorflow dataset到底有哪些数据集
首先来看一下，tensorflow dataset都集成了哪些数据集>>> import tensorflow_datasets as tfds>>> print(tfds.list_builders())['bair_robot_pushing_small', 'cats_vs_dogs', 'celeb_a', 'celeb_a_hq', 'cif...原创 2019-12-12 18:00:55 · 2067 阅读 · 0 评论 -
一次GAN项目背景下的tensorflow_datasets中mnist数据集的下载笔记
起因：帮我可爱的妹子跑一个GAN的代码（已有，github），这回是在我自己实验室的服务器上（到了展现我男友力的时候了！激动！）我的背景：第一次 | 正式使用tensorflow | 要开始排坑了 | 我爱Pytorch | 用之前碎碎念项目地址：https://github.com/google/compare_gan（很基础的一个GAN代码，谷歌大佬发布的）项目论文：https:/...原创 2019-12-12 17:36:52 · 1958 阅读 · 1 评论 -
GitHub使用笔记
Github是什么：这个星球上最流行的开源托管服务如何建立自己的GitHub仓库？1. 打开官网，并注册自己的帐号（官网：https://github.com/）2. new一个新仓库此时你的电脑已经复制了这段信息3. 在保证你的电脑已经安装了git的情况下，从git Bash(Windows)或iTerm(Mac)进入你想上传的文件夹的上一级目录里，输...原创 2019-12-03 09:13:34 · 381 阅读 · 0 评论 -
re.sub()和re.match()
w = 'lllcooooc'1.>>> p = re.compile( r'c(.+)c' )>>> re.sub(p,'',w)'lll'>>> matchObj = re.match( p, line)None3.>>> p = re.compile( r'(.+)c(.+)c' )&...原创 2018-11-21 20:42:21 · 596 阅读 · 0 评论 -
【概念】端口转发和端口映射
以下为整理各个相关网址所得（仅有概念，不含配置方法）1.端口转发：可以新建监听地址和端口予以指定，而端口映射：只能一对一。2.端口映射：比如你发布了一个网站（假设你买了公网ip和域名），http方式访问，但是想了下觉得不好，在路由器上把80端口映射成8080，别人访问时候就加上端口8080，流量过路由器再转成80送到服务器。端口转发：类似代理服务器，把收到数据包转发到目的服务器...原创 2018-11-02 20:55:14 · 1838 阅读 · 1 评论 -
哈工大【LTP】
哈工大【LTP】LTPLTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的中文语言处理模块，以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口、可视化工具，并且能够以网络服务（Web Service）的形式进行使用。（LTP-server）开源代码：https://github.com/HIT-SCIR/ltp在线文档...转载 2018-10-27 16:17:23 · 736 阅读 · 0 评论 -
django的使用注意事项
1. django的安装http://www.runoob.com/django/django-install.html2. django创建第一个项目（数据与视图混合在一起）2.1. 建立项目之后，修改 urls.py 文件；新建一个 view.py 文件;修改setting文件把其中的ALLOWED_HOSTS=[]改成ALLOWED_HOSTS=['*'] ##* 表示任意地址...原创 2018-10-25 12:54:22 · 242 阅读 · 0 评论 -
汉字转拼音（同音异形）-工具
1. 在线工具：http://www.txttool.com/WenBen_ChineseToPinYin.asp2. python工具包：汉字转拼音：from pypinyin import ...https://ctolib.com/mozillazg-python-pinyin.html拼音转汉字：from Pinyin2Hanzi import...https://...转载 2018-09-25 22:10:30 · 2226 阅读 · 0 评论 -
NCRF序列标注开源工具使用
github地址：https://github.com/jiesutd/NCRFpp一、网页翻译NCRF++: An Open-source Neural Sequence Labeling ToolkitNCRF++:一个开源的神经序列标注工具包Sequence labeling模型在许多NLP任务中都很流行，如命名实体识别(NER)、词性标注(POS)和分词。最先进的序列标注模...原创 2018-09-25 11:13:40 · 7711 阅读 · 16 评论 -
什么是Faster-R-CNN（Fast R-CNN与R-CNN）
提出这一概念的论文：《Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks》Faster-R-CNN是CV-Object detection领域下的。（目标检测=多图像识别+多物体定位）CV-Object detection的相关学习可以参考https://zhuanlan.zhihu....转载 2018-09-17 19:23:20 · 4291 阅读 · 0 评论 -
Curriculum Learning
从一篇论文学习“课程学习”，着重关注Curriculum Learning，在此简单记录相关内容。 论文题目：Curriculum Learning for Natural Answer Generation（中科院自动化所）论文地址：https://www.ijcai.org/proceedings/2018/0587.pdf 一、简介参考链接：https://www.soh...原创 2018-09-05 22:29:32 · 4149 阅读 · 0 评论 -
IU X-Ray 数据集
1）数据集来源：https://iuhealth.org/find-medical-services/x-rays（IU，The Indiana University Health，不直接提供数据集）数据集简介：The Indiana University Chest XRay Collection (IU X-Ray) is a set of chest x-ray images pai...原创 2018-08-27 14:47:01 · 7614 阅读 · 2 评论 -
image saliency detection 是什么
image saliency detection 译为 图像显著性检测什么是显著性检测（saliency detection）：====什么是显著性（Statistical significance）：别称：统计显著性。总的来说，它表示群体之间得以相互区别的能力。显著性的含义是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响。我们假定控制了可能影响两个群体之间...原创 2018-08-07 10:55:19 · 4142 阅读 · 0 评论 -
MURA数据集--医疗影像--斯坦福
几个链接：=====stanford ML group 官网 https://stanfordmlgroup.github.io/ 【里面有很多数据集（MURA用于骨x射线异常检测、Countdown Regression、CheXNet胸部x光诊断放射性肺炎、Palliative Care缓和医疗资源、Education检测书写错误并提供反馈、Arrhythmia心电图信号检测心律失...原创 2018-08-06 21:10:27 · 7039 阅读 · 1 评论 -
【error】RuntimeError: multi-target not supported at /pytorch/torch/lib/THCUNN/generic/ClassNLLCriteri
错误：RuntimeError: multi-target not supported at /pytorch/torch/lib/THCUNN/generic/ClassNLLCriterion.cu错误反馈： File "/users4/zsun/pytorch/paper_image_caption/sz-spatial5-chunk/model_msoft_gh.py", line 21...原创 2018-07-12 16:31:17 · 18004 阅读 · 1 评论 -
【error】AttributeError: cannot assign module before Module.__init__() call
【error】在初始化函数调用前不能分配模块原因:调用了自定义的类，但是 在自定义的类的__init__函数下面没有写super( XXX, self ).__init__() class XXX( nn.Module ): def __init__(self, 等等): super( XXX, self ).__init__() ...原创 2018-07-11 14:47:02 · 24659 阅读 · 9 评论 -
linux 运行后台程序的几种命令
https://blog.csdn.net/fuming0210sc/article/details/78678568三种 : & , nohup , tmux ,其中 tmux 最优雅，可以保存上次的工作流 。nohup 可以 记录发生日志。http://bbs.javaee.cc/post/263031_1_1.html五种 :nohup/&/disown/screen/Tm...转载 2018-06-07 12:58:41 · 2283 阅读 · 0 评论 -
2017年outstanding paper的chunk-basedpaper记录
文字来源 http://www.sohu.com/a/158316468_473283CVPR是近十年来计算机视觉领域全球最有影响力、内容最全面的顶级学术会议，由全球最大的非营利性专业技术学会IEEE（电气和电子工程师协会）主办。ACL是计算机语言学和自然语言处理领域最高级别国际学术年会，会议涵盖生物医学、认知建模与心理语言学、交互式对话系统、机器翻译等各个领域。Chunk-Based Bi-Sc...原创 2018-05-31 10:29:57 · 483 阅读 · 0 评论 -
【error】anaconda下的No module named 'torch'
问题起因：在根目录下python；import torch；未报错，表示pytorch可用 而进入虚拟环境目录python；import torch；报错如下：Traceback (most recent call last): File "<stdin>", line 1, in <module>ImportError: No module name...原创 2018-05-23 13:42:15 · 47235 阅读 · 3 评论 -
【error】Too many open files
错误：Python错误提示：[Errno 24] Too many open files上网查找解决方案：http://www.jb51.net/article/105751.htm中写道出现错误的原因是系统默认限制为同时打开1024个文件，这对该程序来说太少了，才会报错建议解决方案为修改系统默认同时打开文件的次数。但在我的程序中：按照网上普遍方案修改系原创 2018-04-08 16:36:03 · 1269 阅读 · 0 评论 -
【error】RuntimeError: multi-target not supported at
错误：使用Cross_entropy损失函数时出现 RuntimeError: multi-target not supported at原因：其参数说明：input has to be a 2D Tensor of size batch x n.This criterion expects a class index (0 to nClasses-1) as the ...原创 2018-04-07 19:26:08 · 23256 阅读 · 12 评论 -
【error】raise NotImplementedError
错误：Traceback (most recent call last):。 File "main.py", line 103, in train for batch_i, (images, labels) in enumerate(train_loader, start=1): File "/u。。/anaconda2/lib/python2.7/site-packag原创 2018-04-05 21:00:15 · 3426 阅读 · 0 评论 -
简单的解释batch normalization
文字来源于https://www.zhihu.com/question/38102762作者：Xf Mao链接：https://www.zhihu.com/question/38102762/answer/131113368来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。搬运一下我在csdn上的博客，关于google那篇Batch Normalization论文的理解...转载 2018-04-03 14:23:57 · 350 阅读 · 0 评论 -
【error】invalid argument 1: must be strictly positive at /pytorch/torch/lib/TH/generic/THTenso
ERROR：RuntimeError: invalid argument 1: must be strictly positive at /pytorch/torch/lib/TH/generic/THTensorMath.c:2184具体： File "main.py", line 152, in test for batch_idx, (image, captions, len...原创 2018-03-25 10:19:47 · 3600 阅读 · 6 评论 -
【error】anaconda3/bin/activate: Permission denied
命令行输入$ activate py27报错如下-bash: /。。/anaconda3/bin/activate: Permission denied解决：$ source activate py27原创 2018-03-23 19:40:19 · 7813 阅读 · 1 评论 -
MSCOCO数据集评估caption_evaluation
一、eval时，caption需准备格式如下（使用json.dump保存到文件）：annotation{ "id": int, "image_id": int, "caption": str,}二、evaldemo/代码这里提供的评估代码可以用于获取公开可用的COCO验证集的结果。它计算多个常用指标，包括BLEU、METEOR、ROUGE-L和CIDEr(包含每个度量的引用和描述...原创 2018-03-21 14:20:37 · 9879 阅读 · 6 评论 -
为什么要用contiguous()
【error】input is not contiguous at....调用view之前最好先contiguousx.contiguous().view()因为view需要tensor的内存是整块的原创 2018-03-20 21:02:54 · 9459 阅读 · 0 评论 -
【Error】Error in `python': free(): invalid pointer: 0x00007f9b9de705e0
*** Error in `python': free(): invalid pointer: 0x00007f9b9de705e0 ***======= Backtrace: =========/lib64/libc.so.6(+0x7c619)[0x7f9c23a9c619]/users4/zsun/anaconda3/lib/python3.6/site-packages/torch/...原创 2018-03-19 17:47:33 · 6491 阅读 · 0 评论 -
MSCOCO数据集下载安装---image_caption
-下载安装MSCOCO2015的image_caption数据集，下载方式【linux】具体步骤：1.$ git clone https://github.com/pdollar/coco.git2.$ mkdir images$ mkdir annotations3.根据需求在http://cocodataset.org/#download下载需要的，unzip解压放在以上目录里...原创 2018-02-25 14:25:55 · 20791 阅读 · 2 评论 -
pytorch代码torchtext代码batch.src.data.t().contiguous()
背景：python；pytorch；import torchtext；；截取部分代码如下：从train_dataset的迭代器中得到batch的数据，batch.src.data()取出数据（加Variable的原因），.t()矩阵转置。转置前batch.src维度为[len,batch].contiguous()返回包含与这个张量相同的数据的连续张量。 for batch in enume...原创 2018-02-11 19:16:30 · 1537 阅读 · 0 评论 -
【error】Segmentation fault (core dumped)
在安装caffe时make, make all, make runtest, make pycaffe均成功完成但是在make pytest时出现错误 Segmentation fault (core dumped) 如下[zs@gpu09 caffe]$ make pycaffe make: Nothing to be done for `pycaffe'. [zs@gpu09 ca...原创 2018-02-05 17:44:03 · 3283 阅读 · 1 评论 -
【error】非root用户解决/usr/bin/ld: cannot find -lxx缺失库函数安装
错误前提：安装caffe, make时报错，是依赖项的问题。一. 出现/usr/bin/ld: cannot find -lxxx错误的三种原因1 系统没有安装相对应的lib2 相对应的lib版本不对3 lib(.so档)的symbolic link 不正确，没有连结到正确的函式库文件(.so)（参考http://blog.sina.com.cn/s/blog_4156950c010...原创 2018-02-04 11:21:33 · 4563 阅读 · 0 评论 -
非root用户(普通用户) protobuf安装
root用户/protobuf安装参考http://blog.csdn.net/tdmyl/article/details/31811317安装包也可以联系1365728210@qq.com$./configure $make&&make install报错如下：(prefix默认为/usr/local/)test -z "/usr/local/lib/pkgconfig"原创 2018-01-26 11:36:03 · 4808 阅读 · 0 评论 -
linux安装caffe记录（非root用户）
①caffe从github下载：执行如下命令：git clone https://github/.../caffe.git②进入caffe/python目录，安装caffe的python依赖库，执行如下命令：$for req in $(cat requirements.txt); do pip install $req;doneSuccessfully installed Cython-0...原创 2018-01-22 22:49:45 · 3918 阅读 · 0 评论 -
sublime3+python代码追踪函数插件安装
sublime3+python代码追踪函数插件安装参考网址：http://blog.csdn.net/M1mory/article/details/72582661https://www.cnblogs.com/honkly/p/6599642.html 安装步骤：1.打开Package Control[Preferences>>Package Control]...原创 2018-01-09 15:56:32 · 4371 阅读 · 0 评论 -
pytorch下的interator.init_epoch()函数
先来看一下：出现init_epoch该函数的代码段如下from torchtext import datadef mt_iterator(opt, train=True): DE = data.Field(eos_token=EOS, lower=True, preprocessing=(lambda x: x[::-1]) if opt.reverse else None)原创 2018-01-08 21:12:08 · 2309 阅读 · 0 评论