- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism论文笔记
之前毕设是做微博NER的，无意之中翻到了这篇论文，个人感觉这篇文章还是比较有价值的，在此简单介绍一下。论文链接：https://www.aclweb.org/anthology/D18-1017（ACL2018）code：https://github.com/CPF-NLPR/AT4ChineseNER核心思想这篇文章做的最核心的事情就是标题中提到的这几个事儿：Adver...
2019-09-09 18:59:19
1839
1
原创 微信聊天记录导出+自动聊天机器人
最近想做一个可以无聊的时候和微信好友对话的功能，用到些许nlp的小知识，在此记录。首先是导出微信聊天记录到txt：https://blog.csdn.net/swinfans/article/details/88712593此处假设大家已经完成了聊天记录导出到txt的任务......
2020-06-20 12:17:54
1516
2
原创 Text Matching as Image Recognition论文笔记
简单介绍一下这篇文章。原文传送门：https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11895/12024论文的核心思想：把两条文本的匹配问题转化成一个相似性矩阵，再用图像的思想去理解矩阵，也就是用卷积去过矩阵，最终提取出特征做分类模型。这也是我认为论文很有价值的一点：借用图像的思想去解决nlp的问题。论文笔记：...
2019-01-04 23:34:27
1073
2
原创 Google BERT（一）：fine-turning
paper：https://arxiv.org/pdf/1810.04805.pdfgithub：https://github.com/google-research/bertgoogle的bert在11项nlp任务中取得了最好成绩，官方也开源了代码和预训练模型，可供大家直接调用。 获取预训练的模型后...
2018-12-16 16:42:20
749
原创 TF-IDF实现关键词提取
TF-IDF方法简介TF-IDF，实际上是两个部分：TF和IDF的乘积。下面分别对两个次解释。TF：词频。简单理解，就是词语在文章中出现的频率。计算方法也很简单：即文档i中词语j的词频等于词语j在文档i中的出现次数nij除以文档i中所有词语的数量。IDF：逆向词频，也叫反文档频率。首先了解一下文档频率DF：一个词在所有文档中出现的频率，如共有100篇文章，10篇文章中出现，则频...
2018-11-12 10:03:30
5332
原创 基于tensorflow的循环神经网络RNN(LSTM)实现（MNIST数据集）
环境为windows10+python3+tensorflow，如无法运行，可能是tf版本更新发生变化。训练文件train.py：import tensorflow as tfimport tensorflow.examples.tutorials.mnist.input_data as input_datamnist = input_data.read_data_sets("MNI...
2018-11-05 10:31:16
393
原创 有关深度学习/神经网络/脑科学的一点想法
个人认为，当未来计算能力达到一定水平后，神经网络达到非常深的深度时，是否存在一种可能，使极深的网络可以同时完成多任务，结合当前存在的各种技术，完成视觉、听觉、嗅觉甚至触觉的感知、大脑内部的思考（计算、推理、知识），以达到真正模拟人脑的程度？仅作一个想(xia)法(che)hhhhhhhh^ _ ^...
2018-09-26 10:43:16
538
1
原创 EMNLP 2018 最佳论文：Facebook 提升 11BLEU 的无监督机器翻译
https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247492579&idx=1&sn=08c9ed6240e41a6402359b51a4e14b08&chksm=ec545464db23dd72b87fb5b199df65bdbf10e72f654c20bd3daf228c33d122b0e453a0e...
2018-09-21 17:31:47
626
原创 机器学习/深度学习学习笔记
模型参数和超参数什么是模型参数？简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。具体来讲，模型参数有以下特征： 进行模型预测时需要模型参数。 模型参数值可以定义模型功能。 模型参数用数据估计或数据学习得到。 模型参数一般不由实践者手动设置。 模型参数通常作为学习模型的一部分保存。 通常使用优化算法估计模型参数，优化算法是对参数的...
2018-09-21 08:52:36
480
原创 基于keras.MNIST的迁移学习(Transfer Learning)
迁移学习用来解决当某一任务A数据量不足时，通过另一相似任务B提供经验（也就是从任务B迁移到任务A）的问题。此处的情形是，在MNIST数据集中，通过对前5个数字(0~4)的学习迁移到后5个数字(5~9)的任务（在一些paper中似乎也有teacher和student任务的叫法）。这里的环境是Windows10+Anaconda3+keras，keras是基于tensorflow的一个包...
2018-09-18 19:29:43
2245
6
原创 基于迁移学习的分词方法
迁移学习简述一篇用来理解迁移学习的文章http://www.infoq.com/cn/articles/migration-learning-from-algorithm-to-practice迁移学习paperhttp://cn.arxiv.org/pdf/1702.04488transfer learning & multitask learninghttps:...
2018-09-16 10:05:52
567
原创 搭建github个人博客网站(git bash)
首先在github注册一个账号https://github.com/，这个就不多说了，登陆进去之后新建一个仓库之后进入新建仓库页面，name设置为 你的id.github.io（例如我的id是Jinxi2，name就是Jinxi2.github.io），添加描述全部完成以后create就成功了~可以选择自己喜欢的主题，进行页面编辑~如果想添加自己的代码/页面/...之类的东西需...
2018-09-16 10:03:32
390
原创 基于Tensorflow的双层循环神经网络RNN(LSTM)实现(MNIST数据集)
本文使用双层LSTM网络，实现对MNIST数据集的分类。理解LSTM网络的传送门：https://blog.csdn.net/jerr__y/article/details/58598296参考：https://blog.csdn.net/jerr__y/article/details/61195257# -*- coding:utf-8 -*-import tensorflow ...
2018-09-09 10:51:44
3202
原创 隐马尔科夫模型、最大熵模型、最大熵马尔科夫、条件随机场
隐马尔科夫模型、最大熵模型、最大熵马尔科夫、条件随机场https://blog.csdn.net/u010626937/article/details/78374624双端LSTM网络分词https://blog.csdn.net/Jerr__y/article/details/70471066https://spaces.ac.cn/archives/3924(上文引用)LS...
2018-08-05 14:15:05
921
原创 NLP分词任务
https://blog.csdn.net/whai362/article/details/51842513 贝叶斯分词mark需要了解的经典方法：-贝叶斯分类器-最大熵模型-支持向量机-条件随机场-感知机 需要实现的分词方法：-基于感知机的中文分词-基于条件随机场的中文分词-基于深度学习的中文分词 语料库：北京大学人民日报语料库 阅...
2018-08-04 21:24:02
589
原创 crf++完成分词任务（人民日报）
安装好crf++后（其实这里用到的只是crflearn.exe和crftest.exe）和下载人民日报的数据之后，我们就可以准备CRF方法的训练过程了。首先是对数据进行处理，生成训练所需的文件。我们去除一些不必要的符号、空格等，对词的位置进行标注（分为单字和多字处理），生成几个文件。其中训练数据和测试数据按照9：1的比例设置。get_train_data.py# coding = u...
2018-08-04 10:37:45
1398
1
原创 ubuntu下txt文件编码转换、查询（gbk/ISO-8859->utf-8）
在ubuntu下运行python程序，总是报错，说编码不对不是utf-8（貌似是因为汉字部分出问题了），搜集资料后完成了转换。1.文件编码查询$ file 199801.txt199801.txt: ISO-8859 text, with very long lines, with CRLF, LF line terminators2.完成转换$ sudo iconv -f ...
2018-08-04 09:40:05
4290
原创 ubuntu解压/压缩rar文件
一般通过默认安装的ubuntu是不能解压rar文件的，只有在安装了rar解压工具之后，才可以解压。其实在ubuntu下安装rar解压工具是非常简单的，只需要两个步骤就可以迅速搞定。ubuntu 下rar解压工具安装方法：1、压缩功能安装 sudo apt-get install rar卸载 sudo apt-get remove rar2、解压功能安装 sudo apt-get ins...
2018-08-03 08:54:26
4240
原创 windows/ubuntu双系统时间不一致、错位
在安装Ubuntu双系统的情况下，Ubuntu的时间总会和Windows的时间相差8小时，原因在于widows认为BIOS时间是本地时间，Ubuntu认为BIOS时间是UTC时间，这样从Ubuntu重启到ubuntu会发现时间相差8小时，简便快捷的方法是修改Ubuntu的时间为本地时间方法①：修改/etc/default/rcS文件 编辑/etc/defaul...
2018-08-02 09:54:23
297
原创 ubuntu下安装CRF++（CRFPP）
原贴：http://www.jkeabc.com/303251.html但是似乎有很多地方还是有坑，在下文都有标注看了很多教程，不是安装包搞不到，就是不能import，error/error/error的。踩了一堆坑，最后按照这个方法搞成了，方便快捷。配置：python2+ubuntu16.04安装过程：（基本会包含所有会踩的坑）从github下载CRF++（貌似0.58版本的包很...
2018-08-01 20:17:17
677
3
原创 python爬虫爬取虎扑步行街爆照区图片
开始动手的时候毫无头绪，主要借鉴了以下帖子：https://blog.csdn.net/sinat_28797501/article/details/70195443但是后来发现代码中还是有一些不太妥当之处，不知是因为网站更新换代、结构改变，还是代码或环境有所差异，修修补补之后，还是完成了图片的爬取。（ps：原贴做的还是很好的哈哈哈膜一波）主要修改的几个地方：原帖中图片存储时，格式...
2018-07-27 09:32:59
2970
原创 编译原理实验：LL（1）文法
目标任务实现 LL(1)分析中控制程序（表驱动程序）；完成以下描述算术表达式的 LL(1)文法的 LL(1)分析程序。 G[E]: E→TE' E'→ATE' |ε T→FT' T'→MFT' |ε F→ (E)|i A→+|- M→*|/说明：终结符号 i 为用户定义的简单变量,即标识符的定义。// Compiler3.cpp :...
2018-07-21 16:03:33
5445
原创 操作系统实验：模拟内存管理设计与实现
模拟内存管理设计与实现：模拟实现动态分区内存管理机制。设计和实现关于内存管理的内存布局初始化及内存申请分配、内存回收等基本功能操作函数，尝试对 256MB 的用户内存空间进行动态分区方式模拟管理。内存分配的基本单位为 1KB，同时要求支持至少两种分配策略，并进行测试和对不同分配策略的性能展开比较评估。要求随机发生进程创建事件（包括进程运行时间及申请内存空间大小）。 首次适应(First...
2018-07-21 16:00:53
6551
1
原创 编译原理SLR(1)文法的C++实现（基于SLR(1)分析法的语法制导翻译及中间代码生成程序设计原理与实现）
程序功能描述完成以下描述赋值语句 SLR(1)文法语法制导生成中间代码四元式的过程。G[A]:A→V=EE→E+T∣E-T∣TT→T*F∣T/F∣FF→(E)∣iV→i[设计说明] 终结符号i为用户定义的简单变量，即标识符的定义。[设计要求]（1）构造文法的SLR(1)分析表，设计语法制导翻译过程，给出每一产生式对应的语义动作；（2）设计中间代码四元式的结构；（3）输入串应是词法分析的输出二元式序...
2018-07-14 20:53:05
7738
7
原创 基于python-KNN完成MNIST手写体数字识别
选修了模式识别这门课，完成一个简单的基于KNN的分类项目：手写体分类任务。 首先从网站上下载数据，格式为.idx3-ubyte和.idx1-ubyte，分别对应的是图片和标签的数据格式。首先需要对其进行解码，即转化成可以进行分类的格式，换个说法就是对文件中的数据进行读取。 读取部分按照文件中的存储格式进行读取，分别对两种文件进行解析。函数代码如下：def dec...
2018-07-04 16:49:18
5497
2
原创 python使用matplotlib画散点图
最近想要完成一个小的画图程序。因为python中的matplotlib很方便，所以完成一个python画散点图的小程序。数据存在csv文件里面，使用csv包进行读取，画图。#导入必要的模块 import numpy as np import matplotlib.pyplot as pltimport csv#产生测试数据ii = 0filename = 'result.csv'...
2018-06-22 17:08:03
1755
原创 MCTS-蒙特卡洛树搜索
最近想去做一个小型的五子棋对弈，中间会用到蒙特卡洛树，在此标记一下。 MCTS，即蒙特卡罗树搜索，是一类搜索算法树的统称，可以较为有效地解决一些搜索空间巨大的问题。 如一个8*8的棋盘，第一步棋有64种着法，那么第二步则有63种，依次类推，假如我们把第一步棋作为根节点，那么其子节点就有63个，再往下的子节点就有62个…… 如果不加干预，树结构将会繁...
2018-06-04 15:34:40
691
原创 中文分词的实现以及相应模块jieba的安装
一、jieba的安装同一般模块的安装过程，只需要在python的命令行里面输入pip install jieba就可以了。我的环境是anaconda3，打开anaconda的命令行就可以了。结果如下：(base) C:\Users\DELL>pip install jiebaCollecting jieba Retrying (Retry(total=4, connect=None, ...
2018-05-30 17:09:38
1250
原创 pip安装Django失败（总是Retry）
在win10+anaconda环境下使用pip install Django总是报错D:\Anaconda3\Scripts>pip install DjangoCollecting Django Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection...
2018-05-21 21:42:45
2818
原创 词法分析器的实现 C++
运行环境是VS2015+win10下，完成如下规则的词法分析器。//（1）该语言大小写不敏感；//（2）字母为 a - z A - Z，数字为 0 - 9；//（3）可以对上述文法进行扩充和改造；//（4） ‘/*……*/’为程序的注释部分。//[设计要求] //（1）给出各单词符号的类别编码；//（2）词法分析程序应能发现输入串中的错误；//（3）词法分析作为单独一遍编写，词法...
2018-04-26 10:54:43
1982
原创 15年美赛A/B赛题翻译及简单思路（欢迎讨论，共同进步）
PROBLEM A:Eradicating EbolaThe world medical association has announced that their new medication could stop Ebola and cure patients whose disease is not advanced. Build a realistic, sensible, and
2018-02-05 16:07:29
3619
原创 2016美赛A/B题目翻译及简单思路（个人观点，欢迎批评讨论）
2016年美赛A题 热水澡 一个人用热水通过一个水龙头来注满一个浴缸，然后坐在在浴缸中，清洗和放松。不幸的是，浴缸不是一个带有二次加热系统和循环喷流的温泉式浴缸，而是一个简单的水容器。过一会儿，洗澡水就会明显地变凉，所以洗澡的人需要不停地将热水从水龙头注入，以加热洗浴水。该浴缸的设计是以这样一种方式，当浴缸里的水达到容量极限，多余的水通过溢流口泄流。考虑空间和时间等因素，建立一个浴缸的水温模型
2018-02-04 00:39:50
8177
2
转载 [转载]2016美国数学建模MCM F题（政策）翻译:难民移入政策建模
ICM: The Interdisciplinary Contest in Modeling美国东部时间2016年1月28日星期四20:00（北京时间2016年1月29日上午9:00）后，可以通过竞赛网站查看赛题。（链接：http://www.comap.com/undergraduate/contests/mcm）PROBLEM F:Modeling Refugee
2018-02-03 16:37:35
1648
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人