![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 80
无限大地NLP_空木
这个作者很懒,什么都没留下…
展开
-
python——工作常用包合集
preface:工作中使用python进行处理常会遇到各种问题及技巧,为此汇总。python功能太多,记住常用即可。环境:python3.7及以上、macpython——pip、conda、ipython常用1:创建虚拟环境(从一个爸爸创造多个儿子,各个儿子之间环境不影响,同一个服务器上自己的python环境不被其他人干扰,自己的多个人可采用不同版本tensorflow包等等) which conda:查看当下是哪个condaconda env list:看看有哪些虚拟环境cond原创 2020-12-26 17:00:39 · 592 阅读 · 0 评论 -
python加速
Preface:许久没有更新博客了,把老夫以往整理的技术相关,再整理下。。目录一、cpython计算加速二、multiprocessing子进程加速v1三、multiprocessing子进程加速v2四、numba数值计算加速五、爬虫多线程加速一、cpython计算加速https://zhuanlan.zhihu.com/p/24168485二、multiproc...原创 2020-04-21 17:02:05 · 620 阅读 · 0 评论 -
生物语料词性标注工具——genia tagger
GENIA Tagger- part-of-speech tagging, shallow parsing, and named entity recognition for biomedical text -What's New20 Oct. 2006A demo page is available.6 Oct. 2006Version 3.0: The tagger now转载 2015-04-23 10:59:45 · 3509 阅读 · 5 评论 -
使用libsvm进行分类之python和java版本
preface: 最近在做一个多分类的问题,数据格式要求跟libsvm接受的格式很像,为图方便,试着用下libsvm, 习惯用python, 那就用python版本的吧。工欲擅其事,必先利其器。Libsvm下载:http://www.csie.ntu.edu.tw/~cjlin/libsvm/,Download LIBSVM那一栏,下载libsvm包。也可以从网盘下载:http://pan原创 2015-05-30 10:46:12 · 4879 阅读 · 0 评论 -
stanford parser 使用说明
preface: 最近忙着的项目想试着用斯坦福的parser,来解析句子生成句法分析树,然后分析子树,与treekernal结合起来,训练。stanford parser神器下载下来了,可使用却是蛋疼。一大堆说明,却没个方便快捷关于总的介绍。一、必先利其器stanford parser主页:http://nlp.stanford.edu/software/lex-parser.sh原创 2015-07-11 23:06:02 · 26048 阅读 · 6 评论 -
自然语言处理的一些工具文档介绍
NLP, NER, POS, CHUNK, 分词, tool,句法依存原创 2015-04-23 11:10:45 · 4501 阅读 · 1 评论 -
SVMrank——Support Vector Machine for Ranking(SVMrank——使用svm的排序)
preface:最近所忙的任务需要用到排序,同仁提到SVMrank这个工具,好像好强大的样纸,不过都快十年了,还有其他ranklib待了解。原文链接:SVMrank,百度搜索svm rank即可。SVMrank基于支持向量机的排序作者::Thorsten Joachims 康奈尔大学计算机系版本号:1.00日起:2009年3月21总览翻译 2016-04-01 16:58:01 · 13325 阅读 · 0 评论 -
TREE KERNELS IN SVM-LIGHT---在svm-light中树核的使用(翻译)
preface:树核是一个计算相似度比较强大的工具。在nlp领域里面对句子的语义分析,解析出句法分析树,通过比较树的结构,对比不同句子的相似度等等,可以应用到很多方面。其中树核早就在svm-light这个强大的工具里面实现了,只需要将需要的句子的语义解析树作为输入,就能对任务进行分类,可以应用于多类nlp任务中。Tree kernels in svm-light原文的介绍也比较详细(百度svm tk即可),卤煮这里也是根据自己的理解稍微记录点东西。翻译 2016-03-10 17:24:25 · 4383 阅读 · 0 评论 -
word2vec找文本相似词小试牛刀
preface: 找出语料中跟某个词类似的词。word2vec作为google的一个开源工具,比较强大,效果也比较好,便试试。一、工具下载:http://word2vec.googlecode.com/svn/trunk/(翻墙)也可以从CSDN下载:http://download.csdn.net/detail/hortond/8095703官方教程:https://co原创 2015-10-20 11:48:36 · 10730 阅读 · 3 评论 -
NLP工具——stanford Parser使用手册
Preface:工作两年多了,陆续接触过蛮多工具,时常没有时间整理整理,最近接触得多了,整理整理自己接触到的NLP这块工具环境:macOS anaconda2目录一、下载安装资源二、使用运行配置及栗子分词及POS命名实体识别句法分析依存句法一、下载 安装 pip installstanfordcorenlp 资源 下载模...原创 2019-03-09 20:27:43 · 18109 阅读 · 7 评论 -
NLP工具——stanford coreNLP NER模块学习
环境Mac java1.8 Maven一、调用pom依赖 <dependency> <groupId>edu.stanford.nlp</groupId> <artifactId>stanford-corenlp</artifactId> <version>3.9.1</version>转载 2019-03-09 20:41:06 · 2340 阅读 · 0 评论 -
NLP预处理——编码、繁转简、停用词、表情、标签
preface:随着经历的积累,觉得预处理问题愈发重要,需要整理整理。环境:mac,anaconda2目录一、文本编码转换二、繁转简三、停用词四、表情异常符号五、html/json/xml标签处理六、切割一、文本编码转换python2 VS python3 python2读取文件:默认asciii,类型为str 转为utf-8 demo: ...原创 2019-03-10 19:03:06 · 5030 阅读 · 1 评论 -
中英文文本预处理软件、工具和算法
1.中文分词、词性标注中科院:ictclashttp://www.ictclas.org/sub_1_1.html具体使用方面看他里面的例子及文档很详细。突出功能是分词功能,还有命名实体识别功能。 哈工大信息检索实验室:LTP 语言技术平台http://ir.hit.edu.cn/http://ir.hit.edu.cn/demo/ltp/S转载 2015-04-23 10:46:23 · 1625 阅读 · 0 评论 -
CRF++: Yet Another CRF toolkit
Named Entity Recognition, Information Extraction and Text Chunking.转载 2014-11-17 11:04:40 · 4079 阅读 · 0 评论 -
分类---weka-分类算法
weka-分类算法 3. 分类与回归 背景知识 WEKA把分类(Classification)和回归(Regression)都放在“Classify”选项卡中,这是有原因的。 在 这两个任务中,都有一个目标属性(输出变量)。我们希望根据一个样本(WEKA中称作实例)的一组特征(输入变量),对目标进行预测。为了实现这一目的, 我们需要有一个训练数据集,这个数据集中每个实例的输入和输转载 2014-05-07 21:19:32 · 4063 阅读 · 0 评论 -
信息检索:对搜索引擎性能的评价指标的小作业---pooling方法以及MAP value的计算
信息检索、pooling method、MAP values、python 画图原创 2014-10-28 00:20:51 · 5741 阅读 · 1 评论 -
分类---LibSVM
(一)初识LibSVM LibSVM是台湾 林智仁(Chih-Jen Lin) 教授2001年开发的一套支持向量机的库,这套库运算速度还是挺快的,可以很方便的对数据做分类或回归。由于libSVM程序小,运用灵活,输入参数少,并且是开源的,易于扩展,因此成为目前国内应用最多的SVM的库。 这套库可以从http://www.csie.ntu.edu.tw/~cjlin/转载 2014-05-07 21:29:28 · 843 阅读 · 0 评论 -
分词---几个免费的中文分词模块
一、什么是中文分词众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子“I am a student”,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道“student”是一个单词,但是不能很容易明白「学」、「生」两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。“我是转载 2014-05-11 10:41:37 · 1538 阅读 · 0 评论 -
python解析百度网页源代码:取搜索引擎返回的前page_num*10个链接的url
python解析百度网页源代码:取搜索引擎返回的前page_num*10个链接的url原创 2014-10-28 18:19:46 · 3023 阅读 · 0 评论 -
中科院ICTCLAS分词汉语词性标记集
1. 名词 (1个一类,7个二类,5个三类)名词分为以下子类:n 名词nr 人名nr1 汉语姓氏nr2 汉语名字nrj 日语人名nrf 音译人名ns 地名nsf 音译地名nt 机构团体名nz 其它专名nl 名词性惯用语ng 名词性语素2. 时间词(1个一类,1个二类)t 时间词转载 2014-10-13 15:03:14 · 6959 阅读 · 0 评论 -
自然语言处理---新词发现---微博数据预处理
最近NLP课程,需要做新词语发现以及原创 2014-10-13 15:22:27 · 4844 阅读 · 0 评论 -
自然语言处理---新词发现---微博数据预处理2
python自然语言微博数据预处理原创 2014-10-14 21:24:53 · 2905 阅读 · 1 评论 -
自然语言处理---新词发现---生成二元组
record:生成二元组#coding:utf-8'''Created on 2014年10月15日@author: shifeng'''import codecs#----------------------#一行一行读取该文件#2012_7after_preproces#testdatawith codecs.open(u"D:/shifengworld/NLP/NLP原创 2014-10-15 23:35:09 · 2700 阅读 · 0 评论 -
机器学习 实用技巧
和大多数人一样,小弟对各种机器学习和数据挖掘算法都小有兴趣,常用的算法也都知道基本思想,但尝试不多。最近收集了一些算法的实用技巧,待有空时仔细研读。(1)机器学习那些事 & 机器学习根基那些事儿:http://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf根基:http://www.cs.cmu.edu/~tom/pubs转载 2014-10-31 20:13:08 · 814 阅读 · 0 评论 -
迭代决策树GBRT(渐进梯度回归树)
一、决策树模型组合单决策树C4.5由于功能太简单,并且非常容易出现过拟合的现象,于是引申出了许多变种决策树,就是将单决策树进行模型组合,形成多决策树,比较典型的就是迭代决策树GBRT和随机森林RF。 在最近几年的paper上,如iccv这种重量级会议,iccv 09年的里面有不少文章都是与Boosting和随机森林相关的。模型组合+决策树相关算法有两种比较基本的形式:随机森林RF与GBDT转载 2015-03-27 21:06:45 · 1744 阅读 · 0 评论 -
计算所汉语词性标记集
计算所汉语词性标记集Version 5.0制订人:刘群 张华平 张浩计算所汉语词性标记集 10. 说明 11. 名词 (1个一类,7个二类,5个三类)22. 时间词(1个一类,1个二类)23. 处所词(1个一类) 34. 方位词(1个一类) 35. 动词(1个一类,9个二类)36. 形容词(1个一类,4个二类)37. 区别词(1转载 2014-10-26 13:38:33 · 1369 阅读 · 0 评论