学习笔记
文章平均质量分 68
warrioR_wx
Java C++ 菜鸟 外出务工 http://hlt.suda.edu.cn/~xwang/
展开
-
[读书笔记] 流畅的python / Fluent Python
第3章:字典和集合泛映射类型 可散列的数据类型 An object is hashable if it has a hash value which never changes during its lifetime (it needs a __hash__() method), and can be compared to other objects (it needs an __e...原创 2019-02-15 10:43:34 · 412 阅读 · 0 评论 -
TensorFlow1.0 运行报错 AttributeError: type object 'NewBase' has no attribute 'is_abstract'
安装TF后,import tensorflow报错:I tensorflow/stream_executor/dso_loader.cc:135] successfully opened CUDA library libcublas.so.8.0 locallyI tensorflow/stream_executor/dso_loader.cc:135] successfully opene原创 2017-03-26 23:39:35 · 4893 阅读 · 0 评论 -
神经机器翻译中语言学知识的引入
准备在组内做一个关于神经机器翻译中语言学知识的加入(syntax + NMT)的报告,先把相关文章进行罗列下: 1. Linguistic Input Features Improve Neural Machine Translation (WMT2016)http://www.statmt.org/wmt16/pdf/W16-2209.pdf2. Tree-to-原创 2017-02-22 16:59:14 · 3143 阅读 · 0 评论 -
爱丁堡大学神经机器翻译系统 nematus 使用笔记
代码准备:nematus https://github.com/rsennrich/nematussubword-nmt https://github.com/rsennrich/subword-nmt原创 2017-03-22 16:48:03 · 5386 阅读 · 1 评论 -
多语言神经机器翻译
1. Multiple Language Neural Machine Translation1.1 Multi-Task Learning for Multiple Language Translation (ACL 2015)http://www.aclweb.org/anthology/P/P15/P15-1166.pdf1.2 Multi-way, multili原创 2017-02-22 20:19:13 · 3018 阅读 · 0 评论 -
谷歌 Dynamic Computation Graphs 动态计算图
上次调研Syntax+NMT(http://blog.csdn.net/wangxinginnlp/article/details/56488921)发现Sequence-to-Tree 或者 Tree-To-Sequence目前已经火热起来,但是目前绝大部分的深度学习框架(http://blog.csdn.net/wangxinginnlp/article/details/58670706)只是原创 2017-03-02 23:47:26 · 2477 阅读 · 0 评论 -
numpy 记录
numpy.nonzero* https://docs.scipy.org/doc/numpy/reference/generated/numpy.nonzero.html#numpy.nonzero返回一个length为2的tuple,对应非零元素的下标为(tuple[0][x],tuplep[1][x])* np.nonzero(x)与x != 0 区别是前者原创 2016-12-29 11:02:39 · 667 阅读 · 0 评论 -
Bengio <Deep Learning> 笔记
书本介绍:The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book原创 2016-11-10 22:35:45 · 1263 阅读 · 0 评论 -
RNN和LSTM资料
http://colah.github.io/posts/2015-08-Understanding-LSTMs/http://www.zhihu.com/question/29411132原创 2015-08-28 09:08:56 · 1630 阅读 · 0 评论 -
Memory Networks 资料
http://www.thespermwhale.com/jaseweston/icml2016/http://www.zmonster.me/notes/end-to-end-memory-networks.htmlhttp://blog.themusio.com/2016/03/09/memory-neural-networks-memnn/http原创 2016-10-31 10:28:21 · 594 阅读 · 0 评论 -
梯度下降优化算法综述(翻译)
原文链接:http://sebastianruder.com/optimizing-gradient-descent博文地址:梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时,每一个先进的深度学习库都包含各种算法实现的梯度下降(比如lasagne's, caffe's, 和 keras'的文档)。然而,这些算法经常作为黑盒优化程序使用,所以难以感受原创 2016-03-24 22:40:15 · 11968 阅读 · 3 评论 -
中文词汇语义相关度的测试集(免费)
在看清华大学刘知远老师的今年的一篇IJCAI文章Representation Learning for Measuring Entity Relatedness with Rich Information,发现他们的实验是在中文上做的。实验测试集合引用的是国防科大11年的一篇《基于中文维基百科链接结构与分类体系的语义相关度计算》所公布的测试集合。Words-240测试集地址:http://ww原创 2015-05-08 09:53:44 · 2321 阅读 · 1 评论 -
线程安全的SRILM语言模型c++接口
老版本线程不安全最近几天,在倒腾多线程的翻译解码器。单线程没问题的解码器,放在多线程下就经常无故的 segmentation fault (core dumped)。排查了一天原因,才发现是语言模型的问题。老版本的SRILM不支持多线程,多个进程环境下报错。错误具体表现如下:将语言模型作为公共资源,多个线程去读取,会报segmentation fault (core dumpe原创 2015-07-20 09:28:25 · 3282 阅读 · 0 评论 -
[moses笔记]编译含有nplm的moses解码器
ACL2014的best paper Fast and Robust Neural Network Joint Models for Statistical Machine Translation在SMT中使用深度学习知识,提出了一种neural network joint model(其实就是融合源端语言知识去做语言模型),论文实验给出的结果宣称大幅度提高了以往基于n-gram语言模型翻译系统的原创 2015-07-04 12:04:11 · 2215 阅读 · 0 评论 -
组内菜鸟学习班
今天中午和褚师姐孙老师聊天,聊到了专业基础问题。大家都有同感,专业基础太差了。 11年至今,先后呆过四个组(硕士期间,计算所实习期间,博士期间和诺亚实习期间)。纵览各方豪杰,深感自己基础还是稍显薄弱。基础知识包括:机器学习/数学,专业知识,编程能力和英语读写。对于研究生做科研,自己的感觉就是前两项严重制约个人的发展。其实,目前看来,自己的基础应付毕业是没有大问题的(运气好,水了论文够原创 2017-03-09 21:44:30 · 1320 阅读 · 0 评论 -
深度学习中Dropout策略
在写系统时候遇到一个问题:模仿的版本在测试阶段,把所有权重乘以一个保留概率(做法1)。而GJH他看的Keras里面测试阶段什么都不做(做法2),所以比较好奇,怎么做法不同?但是随手搜了几个中文博客,都是按做法1来的,训练阶段按保留概率随机生成一个保留矩阵(元素要么0-丢弃,要么1-保留),然后测试阶段所有权重乘以保留概率。在回头看TensorFlow的Dropout函数ht原创 2017-05-23 16:41:54 · 3132 阅读 · 2 评论 -
神经机器翻译WMT14英法基准系统 WMT14 English-French Baseline
最近(2017年以来)的WMT14 English-French Baseline记录 1. GNMT https://arxiv.org/pdf/1609.08144.pdf 语料处理:a shared source and target vocabulary of 32K wordpieces For the wordpiece models, we ...原创 2018-09-12 16:37:50 · 5190 阅读 · 0 评论 -
incremental training/align for word alignment
The Berkeley Word Aligner https://github.com/mhajiloo/berkeleyaligner https://github.com/kmccurdy/inc-align A small Clojure application which extends the Berkeley Alig...原创 2018-08-21 11:29:59 · 596 阅读 · 0 评论 -
T2T Transformer 笔记
讨论:https://www.jiqizhixin.com/articles/2017-06-28-5https://ricardokleinklein.github.io/2017/11/16/Attention-is-all-you-need.html1. Mutli GPU 和 Single 配置的区别https://github.com/tensorflow/tensor2tensor/i原创 2017-12-08 17:44:33 · 4117 阅读 · 4 评论 -
强化学习 Reinforcement Learning 资料
1. 《机器学习》周志华著 第16章2. https://www.analyticsvidhya.com/blog/2017/01/introduction-to-reinforcement-learning-implementation/3. https://www.nervanasys.com/demystifying-deep-reinforcement-learning/原创 2017-03-22 00:10:00 · 1830 阅读 · 0 评论 -
TensorFlow Seq2Seq Model笔记
1. tf.app.run()的疑惑 http://stackoverflow.com/questions/33703624/how-does-tf-app-run-work tf.app类似python中argparse2.原创 2017-03-27 15:11:59 · 16732 阅读 · 1 评论 -
神经机器翻译(NMT)开源工具
工具名称:dl4mt地址:https://github.com/nyu-dl/dl4mt-tutorial/tree/master/session2简介:Attention-based encoder-decoder model for machine translation.工具名称:blocks地址:https://github.com/mila-u原创 2016-10-27 11:51:48 · 10988 阅读 · 17 评论 -
深度学习中Dropout和Layer Normalization技术的使用
两者的论文:Dropout:http://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdfLayer Normalization: https://arxiv.org/abs/1607.06450两者的实现(以nematus为例子):https://github.com/EdinburghNL原创 2017-09-24 20:53:33 · 8451 阅读 · 0 评论 -
2017/0910 实验结果记录
实验1. Adam+LN(LN没有对context vector和source side的input做)20000 BLEU score = 0.294721000 BLEU score = 0.315922000 BLEU score = 0.310923000 BLEU score = 0.329824000 BLEU score = 0.319625000 BLEU score原创 2017-09-25 11:52:30 · 796 阅读 · 0 评论 -
ICTCLAS2014 C++版本 的使用方法
这个工具是什么?先看看他的官方介绍吧:NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。虽然介绍时候还是用的ICTCLAS2013,但是你会发现下载的版本里面dll是2014版本的。原创 2013-12-13 13:30:06 · 12445 阅读 · 28 评论 -
神经机器翻译中的领域自适应问题 Domain adaptation for NMT
相关论文:1. Stanford Neural Machine Translation Systems for Spoken Language Domains. Minh-Thang Luong and Christopher D. Manning. http://www.statmt.org/OSMOSES/Stanford-IWSLT-15.pdf2. F原创 2017-08-30 16:00:12 · 2772 阅读 · 1 评论 -
神经机器翻译(NMT)资料
资料:https://arxiv.org/abs/1409.0473说明:基于注意力机制的神经机器翻译(Attention-based NMT)的论文,首次将注意力机制引入神经机器翻译。资料:https://devblogs.nvidia.com/parallelforall/introduction-neural-machine-translation-with-gpus/原创 2016-10-27 13:45:35 · 7948 阅读 · 5 评论 -
哥伦比亚大学 自然语言处理 公开课 授课讲稿 翻译(一)
前言:心血来潮看了一个自然语言处理公开课,大牛柯林斯讲授的。觉得很好,就自己动手把它的讲稿翻译成中文。一方面,希望通过这个翻译过程,让自己更加理解大牛的讲授内容,锻炼自己翻译能力。另一方面,造福人类,hah。括号内容是我自己的辅助理解内容。 翻译的不准的地方,欢迎大家指正。课程地址:https://www.coursera.org/course/nlangp哥伦比亚大学 自然语言处理原创 2013-05-24 19:46:52 · 7701 阅读 · 3 评论 -
网页正文提取工具Beautiful Soup
Beautiful Soup是什么?Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifyin原创 2017-07-06 15:35:12 · 1162 阅读 · 0 评论 -
moses-chart笔记
1. extract-rules1.1 Span Size Limit : The limit on span sizes can be set with max-chart-span. In fact its default is 10, which is not a useful setting for syntax models.from http://www.statmt.or原创 2015-06-09 10:50:11 · 1039 阅读 · 0 评论 -
Datasets for MachineLearning
Public datasets for machine learning http://homepages.inf.ed.ac.uk/rbf/IAPR/researchers/MLPAGES/mldat.htmWeka datasets http://www.cs.waikato.ac.nz/ml/weka/datasets.html原创 2015-06-30 15:12:51 · 1054 阅读 · 0 评论 -
排版系统Latex傻瓜方式使用(论文排版)
0. 什么是Latex?LaTEX(英语发音:/ˈleɪtɛk/ lay-tek或英语发音:/ˈlɑːtɛk/ lah-tek,音译“拉泰赫”),文字形式写作LaTeX,是一种基于TEX的排版系统,由美国电脑学家莱斯利·兰伯特在20世纪80年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由TEX所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍品質的印刷品。对原创 2015-06-03 22:30:45 · 7186 阅读 · 1 评论 -
Deep Learning(深度学习) 学习笔记(三)
前言:昨天看到微博上分享的深度学习视频,为上海复旦大学吴立德教授深度学习课程,一共六课时,视频地址点击打开链接。在此我结合其他资料,写点个人的学习笔记进行记录。第三,四课:稀疏编码本课吴老师对稀疏编码做了一个简单的介绍。内容分为三块:1.深度学习 2.稀疏编码**这两节课讲的是稀疏编码,关于稀疏编码编码,数学理解不难。难得是如何跟实际问题结合起来。所以这两节笔记仅仅原创 2014-01-18 10:38:10 · 5697 阅读 · 1 评论 -
python2.7.1编码问题
以前没有怎么接触过编码的问题。这次一接触头大了。简单介绍自己遇到的情况。编辑环境Ulipad。文件开头设置的coding=utf-8。读取的文件是utf-8格式。cmd.exe窗口gbk(chcp65001命令设置cmd窗口utf-8格式,chcp936命令设置cmd窗口gbk格式)问题出在我用程序读取文件中的url地址,在python抓取程序使用urllib2去抓取对应的网页内容。此时总是报错原创 2012-08-22 09:32:45 · 2296 阅读 · 0 评论 -
学习笔记:逻辑斯蒂回归(logistic regression)
什么是逻辑斯蒂回归,参见维基百科的解释点击打开链接。后面的参考博客已经给逻辑斯蒂回归做了很多基础东西的讲解(越是基础的东西越难讲清楚)。在这里我对逻辑斯蒂回归做一点自己的思考笔记。问题:Q1,为什么选用logistic function?Q2,logistic regression到底在做什么?Q2,logistic regr原创 2013-12-28 13:17:16 · 4010 阅读 · 5 评论 -
Deep Learning(深度学习) 学习笔记(二)
前言:昨天看到微博上分享的深度学习视频,为上海复旦大学吴立德教授深度学习课程,一共六课时,视频地址。在此我结合其他资料,写点个人的学习笔记进行记录。简单概念:神经元 图1,神经元 (图片来自维基百科)神经元输入: [此处的x对应图1中的a]神经元输出: [此处中的a对应图1中的t]神经层图2.神经网原创 2014-01-07 12:34:25 · 8641 阅读 · 3 评论 -
哥伦比亚大学 自然语言处理 公开课 授课讲稿 翻译(四)
前言:心血来潮看了一个自然语言处理公开课,大牛柯林斯讲授的。觉得很好,就自己动手把它的讲稿翻译成中文。一方面,希望通过这个翻译过程,让自己更加理解大牛的讲授内容,锻炼自己翻译能力。另一方面,造福人类,hah。括号内容是我自己的辅助理解内容。 翻译的不准的地方,欢迎大家指正。课程地址:https://www.coursera.org/course/nlangp哥伦比亚大学 自原创 2013-05-26 20:51:02 · 3509 阅读 · 1 评论 -
shell学习
管道:我们可以使用管道符|来连接进程.在Linux系统中,由管道连接起来的进程可以自动运行,就如同在他们有一个数据流一样.在下面的这个例子中,我们要使用sort命令来排序ps的输出.而如果我们不使用管道,我们就要分几步来完成。Shell三种基本命令:内建命令,Shell函数以及外部命令。Shell变量赋值:变量名=值 中间没有空格。IO重定向简单说就是一个过程,这个过程捕捉一个文原创 2013-03-05 19:35:36 · 1135 阅读 · 0 评论 -
问题:shell脚本while中的more和cat
自己shell写的玩意:oov_file=${1}corpus_file=${2}#cat ${oov_file}#wc -l ${corpus_file}cat ${oov_file} | while read linedo echo ${line} more ${corpus_file} | grep ${line} | wc -l done不wo原创 2013-05-28 17:19:47 · 1616 阅读 · 0 评论 -
哥伦比亚大学 自然语言处理 公开课 授课讲稿 翻译(三)
前言:心血来潮看了一个自然语言处理公开课,大牛柯林斯讲授的。觉得很好,就自己动手把它的讲稿翻译成中文。一方面,希望通过这个翻译过程,让自己更加理解大牛的讲授内容,锻炼自己翻译能力。另一方面,造福人类,hah。括号内容是我自己的辅助理解内容。 翻译的不准的地方,欢迎大家指正。课程地址:https://www.coursera.org/course/nlangp哥伦比亚大学 自原创 2013-05-25 22:46:40 · 3174 阅读 · 0 评论