英语分词

最新推荐文章于 2021-09-13 19:48:08 发布
最新推荐文章于 2021-09-13 19:48:08 发布
阅读量752 收藏
点赞数
分类专栏： Text Process 文章标签： 文本处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleml/article/details/46581163
版权 
package com.triggerprotein;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

public class TriggerLocation 
{
	public static void main(String[] args) 
	{
		SentTokenizer sentT = new SentTokenizer();
		try
		{
			File file = new File("E:\\2009_BioEvent\\devel\\BioNLP_2009_devel_triggerInfo");
			File[] files = file.listFiles();
			for(int fileId = 0; fileId < files.length; fileId++)
			{
				String fileName = files[fileId].getName();
				FileReader fr = new FileReader(files[fileId]);
				BufferedReader br = new BufferedReader(fr);
				
				FileWriter fw = new FileWriter("E:\\2009_BioEvent\\devel\\BioNLP_2009_devel_NewTriggerInfo\\" + fileName);
				BufferedWriter bw = new BufferedWriter(fw);
				Map<Integer,Character> oldSentMap = new HashMap<Integer,Character>();
				Map<Integer,Character> newSentMap = new HashMap<Integer,Character>();
				String sent;
				while((sent = br.readLine())!= null)
				{
					//对句子进行处理					
					if(sent.length() == 0)
				    {  
						oldSentMap.clear();
						newSentMap.clear();
						bw.newLine();
						bw.flush();
				    }else if(sent.startsWith("#")) //蛋白质
					{
				    	//# T6 Protein S5 75 79 ERK2
				    	
				    	String[] pro = sent.split(" ");				    	
				    	int proStart = Integer.parseInt(pro[4]);
				    	int proEnd = Integer.parseInt(pro[5]);
				    	
				    	StringBuffer proB = new StringBuffer();	
				    	
						for(int j = 6; j < pro.length; j++)
						{
							if(j == pro.length - 1)
							{
								proB.append(pro[j]);
							}else
							{
								proB.append(pro[j] + " ");
							}
						}							
						String protein = proB.toString();
										
						int num1 = 0,num2 = 0,num3 = 0, num4 = 0;
						String oldMapStr ="", newMapStr ="";
						int mark = 0;
						for(int proX = 0; proX < oldSentMap.size(); proX++)
						{
							if(mark == 1)
							{
								proX = proX - 1;
								mark = 0;
							}
							Character oldMapChar = oldSentMap.get(proX);
							Character newMapChar = newSentMap.get(proX+num1+num3);							
							if(proX >= proStart && proX < proEnd)
							{
								if(oldMapChar.equals(newMapChar)&& oldMapChar.equals(' '))
								{
								    num4 +=1;	
									oldMapStr += oldSentMap.get(proX);
								    newMapStr += newSentMap.get(proX +num1+num3);
								}else if(oldMapChar.equals(newMapChar)&& !oldMapChar.equals(' '))
								{
									oldMapStr += oldSentMap.get(proX);
								    newMapStr += newSentMap.get(proX +num1+num3);
								    if(proX == proEnd-1)
								    {
								    	if(oldMapStr.equals(newMapStr) && oldMapStr.equals(protein))
									    {										    		
								    		String newProtein = sentT.sentTokenizer(protein);
								    		
								    		int numm = 0;
								    		if(newProtein.indexOf(" ") != -1)
								    		{
								    			String[] strr =newProtein.split(" ");
								    			numm = strr.length;								    			
								    			
								    		}else 
								    		{
								    			numm =1;
								    		}
								    		if(proStart > 0 && (oldSentMap.get(proStart-1).equals('-') || oldSentMap.get(proStart-1).equals('(')|| oldSentMap.get(proStart-1).equals('/')))
									    	{
									    		int proIndexStart = num1 + num2 + 1;
									    		int proIndexEnd = num1 + num2 + num3 + num4;
									    		if(numm == (proIndexEnd - proIndexStart +1))
									    		{
										    		bw.write("# " + proIndexStart + " " + proIndexEnd + " " + newProtein);
										    		bw.newLine();
										    		bw.flush();									    		
										    		break;
									    		}else
									    		{
									    			System.out.println(fileName +" %%%");
									    			System.out.println(sent+" %%% ");
									    			System.out.println(protein + " " + proIndexStart + " " + proIndexEnd + " " + newProtein);
									    			System.out.println("计算蛋白质单词个数的时候出错");
									    			break;
									    		}
									    	}else
									    	{
									    		int proIndexStart = num1 + num2;
									    		int proIndexEnd = num1 + num2 + num3 + num4;									    	
									    		bw.write("# " + proIndexStart + " " + proIndexEnd + " " + newProtein);
									    		bw.newLine();
									    		bw.flush();
									    		break;									    		
									    	}
									    }
								    }							    
									
								}else if(!oldMapChar.equals(newMapChar) && newMapChar.equals(' '))
								{
									num3 +=1;
									mark = 1;
								}else
								{
									System.out.println(fileName);
									System.out.println(sent + "***");
									System.out.println("处理蛋白质时字符出错");
								}								
							    
							}else if(!oldMapChar.equals(newMapChar) && newMapChar.equals(' '))
							{
								num1 += 1;
								mark = 1;
							}else if(oldMapChar.equals(newMapChar) && oldMapChar.equals(' '))
							{
								num2 += 1;								
							}else if(oldMapChar.equals(newMapChar) && !oldMapChar.equals(' '))
							{
								
							}else 
							{
								System.out.println(fileName);
								System.out.println(sent);
								System.out.println(proX +"   " + oldMapChar +"***"+ newMapChar+"不相等");
							}	
						}						
						
					}else if(sent.startsWith("@")) //trigger
					{
						//@ T120 Gene_expression S4 90 97 produce
						
						String[] tri = sent.split(" ");
						String triType = tri[2];
						int triStart = Integer.parseInt(tri[4]);
						int triEnd = Integer.parseInt(tri[5]);
						
						StringBuffer triB = new StringBuffer();				    								
						for(int j = 6; j < tri.length; j++)
						{
							if(j == tri.length - 1)
							{
								triB.append(tri[j]);
							}else
							{
								triB.append(tri[j] + " ");
							}
						}							
						String trigger = triB.toString();	
												
						int num1 = 0, num2 = 0, num3 = 0, num4 = 0;
						String oldMapStr ="", newMapStr ="";
						
						int label = 0;
						for(int triX = 0; triX < oldSentMap.size(); triX++)
						{							
							if(label == 1)
							{
								triX = triX - 1;
								label = 0;
							}
							Character oldMapChar = oldSentMap.get(triX);
							Character newMapChar = newSentMap.get(triX+num1+num3);
							
							if(triX >= triStart && triX < triEnd)
							{
								if(oldMapChar.equals(newMapChar) && oldMapChar.equals(' '))
								{
									num4 += 1;
									oldMapStr += oldSentMap.get(triX);
								    newMapStr += newSentMap.get(triX +num1+num3);
								}else if(oldMapChar.equals(newMapChar) && !oldMapChar.equals(' '))
								{
									oldMapStr += oldSentMap.get(triX);
								    newMapStr += newSentMap.get(triX +num1+num3);
								    if(triX == triEnd-1)
								    {
								    	if(oldMapStr.equals(newMapStr)&& oldMapStr.equals(trigger))
									    {								    	
								    		String newTrigger = sentT.sentTokenizer(trigger);
								    		int numm = 0;
								    		if(newTrigger.indexOf(" ") != -1)
								    		{
								    			String[] strr =newTrigger.split(" ");
								    			numm = strr.length;
								    		}else 
								    		{
								    			numm =1;
								    		}
								    		if(triStart > 0 && (oldSentMap.get(triStart-1).equals('-')||oldSentMap.get(triStart-1).equals('(')||oldSentMap.get(triStart-1).equals('/') || oldSentMap.get(triStart-1).equals('-') || oldSentMap.get(triStart-1).equals('[') || Character.isDigit(oldSentMap.get(triStart-1))))
									    	{
									    		int triIndexStart = num1 + num2 + 1;
										    	int triIndexEnd = num1 + num2 + num3 + num4;	
										    	
										    	bw.write("@ " + triType + " " +  + triIndexStart + " " + triIndexEnd + " " + newTrigger);
	                                            bw.newLine();
	                                            bw.flush();
										    	break;
									    	}else
									    	{
									    		int triIndexStart = num1 + num2;
										    	int triIndexEnd = num1 + num2 + num3 + num4;
										    	if(numm == (triIndexEnd - triIndexStart +1))
										    	{
											    	bw.write("@ "+ triType + " " + triIndexStart + " " + triIndexEnd  + " " + newTrigger);
		                                            bw.newLine();
		                                            bw.flush();
											    	break;
										    	}else
										    	{
										    		System.out.println(fileName +" *** ");
										    		System.out.println(sent + " *** ");
										    		System.out.println(trigger + " " + newTrigger + " "+ triIndexStart + " " + triIndexEnd);
										    		System.out.println("计算的trigger词长度有问题");
										    		break;
										    	}
									    	}								    		
                                        }	
								    }
								}else if(!oldMapChar.equals(newMapChar) && newMapChar.equals(' '))
								{
									num3 += 1;									
								    label = 1;
								}else
								{
									System.out.println(fileName);
									System.out.println(sent + "&&&");
									System.out.println("处理触发词时出错");
								}
								
							}else if(!oldMapChar.equals(newMapChar) && newMapChar.equals(' '))
							{
								num1 += 1;
								label = 1;
							}else if(oldMapChar.equals(newMapChar) && oldMapChar.equals(' '))
							{
								num2 += 1;
								
							}else if(oldMapChar.equals(newMapChar) && !oldMapChar.equals(' '))
							{
								
							}else 
							{
								System.out.println(oldMapChar +"***"+ newMapChar+"不相等");
							}
						}						
					}else if(sent.startsWith("%"))//event
					{
						
					}else  //sentence
					{						
						char[] oldSentChar = sent.toCharArray();
						for(int charId = 0; charId<oldSentChar.length; charId++)
						{
							oldSentMap.put(charId, oldSentChar[charId]);
						}
						
						String newSent = sentT.sentTokenizer(sent);	
						
						char[] newSentChar = newSent.toCharArray();						
						for(int chId = 0; chId<newSentChar.length; chId++)
						{
							newSentMap.put(chId, newSentChar[chId]);
						}
						bw.write(newSent);
						bw.newLine();
						bw.flush();
					}					
				}
			}
		}catch(IOException io)
		{
			io.printStackTrace();
		}
	}
}

上面的这个程序基本没有问题， 原理是分词前的句子每个字符都存储到Map中，分词后的字符也都存储到Map中，两个Map 进行比对，根据单词的对应字符找到单词在分词后的句中的位置。

package com.triggerprotein;

import java.util.List;
import java.util.StringTokenizer;

import cmu.arktweetnlp.Twokenize;

public class SentTokenizer 
{
	public String sentTokenizer(String sent) //返回句子
	{
		String result = "";		
		StringBuffer sentBuff = new StringBuffer();
		List<String> tokenList = Twokenize.tokenizeRawTweetText(sent);
		
		for(int i = 0; i < tokenList.size(); i++)
		{			
			String str11 = tokenList.get(i);			
			if(tokenList.get(i).indexOf("/") != -1 && !tokenList.get(i).startsWith("/")&& tokenList.get(i).endsWith("/"))
			{
				String stri = tokenList.get(i).substring(0, tokenList.get(i).length()-1);
				sentBuff.append(stri + " / ");
			}else if(tokenList.get(i).indexOf("/") != -1 && tokenList.get(i).startsWith("/")&& !tokenList.get(i).endsWith("/"))
			{
			   String st = tokenList.get(i).substring(1);
			   sentBuff.append("/ ");
			   if(st.indexOf("-") != -1)
			   {
				   sentBuff.append(st.replace("-", " - "));
				   sentBuff.append(" ");
			   }else
			   {
				   sentBuff.append(st + " ");
			   }
			}else if(tokenList.get(i).indexOf("/") != -1 && !tokenList.get(i).endsWith("/")) 
			{				
				String[] string = tokenList.get(i).split("/");
				
				for(int p = 0; p < string.length; p++)
				{
					if(p == string.length - 1)
					{						
						if(string[p].indexOf("-")!= -1 && string[p].indexOf("(") == -1 && string[p].indexOf(")") == -1)
						{		
							if(string[p].equals("-"))
							{
								sentBuff.append(string[p].replace("-", "- "));								
							}else
							{
								sentBuff.append(string[p].replace("-", " - "));
								sentBuff.append(" ");
							}
							
						}else if(string[p].indexOf("-") == -1 && string[p].indexOf("(") == -1 && string[p].indexOf(")") == -1)
						{
							sentBuff.append(string[p] + " ");
							
						}else if(string[p].indexOf("(") != -1 && string[p].indexOf(")") != -1)
						{						
							StringTokenizer strToke = new StringTokenizer(string[p], "()", true);// 打印分隔符
							
							while (strToke.hasMoreElements()) 
							{
								sentBuff.append(strToke.nextToken()+" ");
							}
						}else if(string[p].indexOf("(") != -1 && string[p].indexOf(")") == -1)
						{
						    if(!string[p].endsWith("("))
						    {
						    	sentBuff.append(string[p].replace("(", " ( "));
						    	sentBuff.append(" ");
						    }else 
						    {
						    	sentBuff.append(string[p].replace("(", " ( "));
						    }
						    
						}else if(string[p].indexOf(")") != -1 && !string[p].endsWith(")"))
						{
							String strr = string[p].replace(")", " )");
							if(strr.indexOf(")-") != -1)
							{
								sentBuff.append(strr.replace("-", " - "));
							}else
							{
								sentBuff.append(strr);
								sentBuff.append(" ");
							}
							sentBuff.append(" ");
						}else if(string[p].equals("+)"))
						{
							sentBuff.append("+ ) ");
						}else if(string[p].equals("-)"))
						{
							sentBuff.append("- ) ");
						}else
						{
							sentBuff.append(string[p]+" ");
						}
					}else
					{
						if(string[p].indexOf("-")!= -1 && string[p].indexOf("(") == -1 && string[p].indexOf(")") == -1)
						{						
							if(string[p].startsWith("-"))
							{
								sentBuff.append(string[p].replace("-", "- "));
								sentBuff.append("/ ");
							}else
							{
								sentBuff.append(string[p].replace("-", " - "));
								sentBuff.append(" / ");
							}
						}else if(string[p].indexOf("-") == -1 && string[p].indexOf("(") == -1 && string[p].indexOf(")") == -1)
						{
							if(string[p].endsWith("+"))
							{
								sentBuff.append(string[p].replace("+", " + "));
								sentBuff.append("/ ");
							}else
							{
								sentBuff.append(string[p] + " ");
								sentBuff.append("/ ");
							}
						}else if(string[p].indexOf("(") != -1 && string[p].indexOf(")") != -1)
						{
							StringTokenizer strToke = new StringTokenizer(string[p], "()", true);// 打印分隔符						
							while (strToke.hasMoreElements()) 
							{
								sentBuff.append(strToke.nextToken()+" ");
							}
							sentBuff.append("/ ");
						}else if(string[p].indexOf(")") != -1 && string[p].endsWith(")")&& string[p].indexOf("(") == -1)
						{
							String st = string[p].replace(")", " ) ");
							if(st.indexOf("-") != -1)
							{
								sentBuff.append(string[p].replace("-", " - "));
							}else 
							{
								sentBuff.append(st);
							}
							sentBuff.append("/ ");
						}else if(string[p].endsWith("+") || string[p].endsWith("-"))
						{   if(string[p].endsWith("+"))
						    {
								sentBuff.append(string[p].replace("+", " + "));	
								sentBuff.append("/ ");
						    }else if(string[p].endsWith("-"))
						    {
						    	sentBuff.append(string[p].replace("-", " - "));	
						    	sentBuff.append("/ ");
						    }						   
						}
					}
				}
				
			}else if((tokenList.get(i).indexOf("-")) != -1 && !tokenList.get(i).startsWith("-") && !tokenList.get(i).endsWith("-"))
			{
				String[] str = tokenList.get(i).split("-");
				for(int p = 0; p < str.length; p++)
				{
					if(p == str.length - 1)
					{
						sentBuff.append(str[p] + " ");
					}else
					{
						if(str[p].endsWith(")"))
						{
							if(str[p].indexOf("(")!= -1)
							{
								String rr = str[p].replace("(", " ( ");
								sentBuff.append(rr.replace(")", " ) "));
								sentBuff.append("- ");
							}else
							{
								sentBuff.append(str[p].replace(")", " ) "));
								sentBuff.append("- ");								
							}
						}else
						{
							sentBuff.append(str[p] + " ");
							sentBuff.append("- ");
						}
					}
				}
						
			}else if(tokenList.get(i).startsWith("-") && !tokenList.get(i).equals("-"))
			{
				sentBuff.append("- " + tokenList.get(i).substring(1)+" ");
			}else if(tokenList.get(i).endsWith("-") && !tokenList.get(i).equals("-"))
			{
				String preStr = tokenList.get(i).substring(0, tokenList.get(i).length()-1);
				if(preStr.indexOf("+") != -1)
				{
					String[] plusSplit = preStr.split("\\+");
					for(int p = 0; p < plusSplit.length; p++)
					{
						if(p == plusSplit.length - 1)
						{
							sentBuff.append(plusSplit[p] + " ");
						}else
						{
							sentBuff.append(plusSplit[p] + " ");
							sentBuff.append("+ ");
						}
					}
						
				}else if(preStr.indexOf("-") != -1)
				{
					String[] plusSplit = preStr.split("-");
					for(int p = 0; p < plusSplit.length; p++)
					{
						if(p == plusSplit.length - 1)
						{
							sentBuff.append(plusSplit[p] + " ");
						}else
						{
							sentBuff.append(plusSplit[p] + " ");
							sentBuff.append("- ");
						}
					}
				}
				else
				{
					sentBuff.append(preStr + " ");
				}
				
				sentBuff.append("- ");
				
			}else if(tokenList.get(i).startsWith("+") && !tokenList.get(i).equals("+"))
			{
				sentBuff.append("+ " + tokenList.get(i).substring(1)+ " ");
			}else if(tokenList.get(i).endsWith("+") && !tokenList.get(i).equals("+"))
			{
				String plusStr = tokenList.get(i).substring(0, tokenList.get(i).length()-1);
				
				if(plusStr.indexOf("+") != -1)
				{
					String[] plusSplit = plusStr.split("\\+");
					for(int p = 0; p < plusSplit.length; p++)
					{
						if(p == plusSplit.length - 1)
						{
							sentBuff.append(plusSplit[p] + " ");
						}else
						{
							sentBuff.append(plusSplit[p] + " ");
							sentBuff.append("+ ");
						}
					}						
				}else
				{
					sentBuff.append(plusStr + " ");
				}				
				sentBuff.append("+ ");
				
			}else if((tokenList.get(i).indexOf("+") != -1) && !tokenList.get(i).startsWith("+") && !tokenList.get(i).endsWith("+"))
			{
				String[] str = tokenList.get(i).split("\\+");
				for(int p = 0; p < str.length; p++)
				{
					if(p == str.length - 1)
					{
						sentBuff.append(str[p] + " ");
					}else
					{
						sentBuff.append(str[p] + " ");
						sentBuff.append("+ ");
					}
				}
			}else if(tokenList.get(i).indexOf(")") != -1 && !tokenList.get(i).equals(")") && tokenList.get(i).endsWith(")"))
			{
				String plusStr = tokenList.get(i).substring(0, tokenList.get(i).length()-1);
				sentBuff.append(plusStr +" ) ");		
			}else if(tokenList.get(i).indexOf(")") != -1 && !tokenList.get(i).equals(")") && tokenList.get(i).startsWith(")"))
			{
				String sufixStr = tokenList.get(i).substring(1);
				sentBuff.append(") " + sufixStr+" "); 
			}else if(tokenList.get(i).indexOf("(") != -1 && !tokenList.get(i).endsWith("(") && tokenList.get(i).indexOf(")") == -1)
			{
				sentBuff.append(tokenList.get(i).replace("(", " ( "));
				sentBuff.append(" ");
			}else if(i==tokenList.size()-1)
			{
				sentBuff.append(tokenList.get(i));
			}else
			{							
				sentBuff.append(tokenList.get(i) + " ");
			}				
	    }	
		result = sentBuff.toString();
		return result;
	}
}

上面的程序是对推特分词工具分词后处理

小妖精Fsky
关注
专栏目录
python 英语分词_python实现英文文本分词
weixin_39789525的博客
11-20 4454
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！打算绘制中文词云图？ 那你得先学会如何做中文文本分词。 跟着我们的教程，一步步用python来动手实践吧。? （由于微信公众号外部链接的限制，文中的部分链接可能无法正确打开。 如有需要，请点击文末的“阅读原文”按钮，访问可以正常显示外链的版本。 需求在《如何用python做词云》一文...
python 英语分词_Python实现中英文分词
weixin_39937635的博客
11-23 2477
首先给出昨天文章里最后的小思考题的答案，原文链接为：既然选择的是不重复的元素，那么试图在[1,100]这样的区间里选择500个元素，当然是不可能的，但是机器不知道这事，就一直尝试，没有精力做别的事了。今天的话题是分词：Python扩展库jieba和snownlp很好地支持了中文分词，可以使用pip命令进行安装。在自然语言处理领域经常需要对文字进行分词，分词的准确度直接影响了后续文本处理和挖掘算法的...
英文分词工具
10-28
这是一个英文分词工具里面有详细的介绍使用方法
开源分词软件
aigui1439的博客
11-23 808
由于中文文本词与词之间没有像英文那样有空格分隔，因此很多时候中文文本操作都涉及切词，这里整理了一些中文分词工具。一般来说用CRF实现的分词工具的处理速度是比较慢的（训练CRF模型是非常耗时的），但是精度高，涉及CRF的分词工具有CRF++，Stanford分词工具。 Bakeoff是一个国际中文处理比赛，有多个语料，所以每个语料都有排名。只有部分优秀的Bak...
英文语料的分词处理
高颜值的杀生丸(此博客转载自我的博客园)
02-16 472
""" 实现额外的方法 """ import re def tokenlize(sentence): """ 进行文本分词 :param sentence: str :return: [str,str,str] """ fileters = ['!', '"', '#', '$', '%', '&', '\(', '\)', ...
NLP之英文分词
weixin_43242381的博客
09-13 496
任务 对Excel中的摘要列的英文段落进行英文分词、词性标注，将结果导入Excel 下面展示代码`。 import nltk from nltk.tokenize import WordPunctTokenizer from nltk.corpus import stopwords from nltk.tag import pos_tag import numpy as np import pandas as pd import xlwt #英文断句分词 def wo_se_broken(sentenc
Jieba、NLTK等中英文分词工具进行分词
studyvcmfc的专栏
08-20 468
https://blog.csdn.net/ding_programmer/article/details/88698931
AI英语分词分句训练和测试资料
03-02
在训练AI模型进行英语分词和分句时，首先需要对数据进行预处理，包括清洗（去除无关字符）、标准化（大小写转换）以及切分（分词和分句）。接着，可以利用监督学习方法，将标注好的"conll2000"数据集作为训练数据，...
英语分词的用法解析PPT学习教案.pptx
10-06
通过以上讲解，我们可以看到，英语分词在句子中的运用相当广泛，不仅能够增强语言的表达力，还能使句子结构更加紧凑。理解和熟练运用分词，将有助于提升英语写作和阅读理解的能力。在实际应用中，要根据语境和句子...
python 英语分词_自然语言处理 | NLTK英文分词尝试
weixin_39640687的博客
11-20 2137
NLTK是一个高效的Python构建的平台，用来处理自然语言数据，它提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet），还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库。NLTK可以在Windows、Mac OS以及Linux系统上使用。1.安装NLTK使用pip install nltk命令安装NLTK库，NLTK中集成了语料与模型等的包管理器...
一个简单的英文分词程序
10-18
英文分词,根据字典的词对英文无空格的词序列进行分解
英文文本分词jar包与代码
04-13
文本分词
深度学习在分词上的应用
super
03-18 1480
https://mp.weixin.qq.com/s?__biz=MjM5ODIzNDQ3Mw==&mid=2649966433&idx=1&sn=be6c0e5485003d6f33804261df7c3ecf&chksm=beca376789bdbe71ef28c509776132d96e7e662be0adf0460cfd9963ad782b32d2d5787ff499&mpshare=1&s
英文分词工具NLTK、SpaCy、StanfordCoreNLP的安装和分词语句（Python）
weixin_43826681的博客
04-01 1412
目录一、NLTK1. 安装2.分词语句二、SpaCy1. 安装2.分词语句三、StanfordCoreNLP1. 安装2.分词语句 一、NLTK 1. 安装 pip install nltk 2.分词语句 from nltk.tokenize import word_tokenize with open("English.txt", "r", encoding="UTF-8") as f: en_text = f.readline() print(en_text) word_list
NLP自然语言处理中英文分词工具集锦与基本使用 jieba,snowNLP ,StanfordCoreNLP,thulac等
种花家的奋斗兔的博客
03-20 6162
目录 NLP分词工具集锦 分词实例用文件 一、中文分词工具 （1）Jieba （2）snowNLP分词工具 （3）thulac分词工具 （4）pynlpir 分词工具 （5）StanfordCoreNLP分词工具 （6）Hanlp分词工具 二、英文分词工具 1. NLTK： 2. SpaCy： 3. StanfordCoreNLP： NLP分词工具集锦 分词实例用文件...
英文文本分词之工具NLTK
weixin_43543177的博客
06-09 2548
英文文本分词之工具NLTK安装NLTK停用词和标点符号包放置验证 安装NLTK pip install nltk 分词需要用到两个包：stopwords和punkt,需要下载： import nltk nltk.download('stopwords') nltk.download('punkt') 如果你能运行成功，那么恭喜，但多半要和我一样，被墙，然后下载失败。于是乎，需要手动下载，这里我已经打包好了，百度提取即可。 链接：https://pan.baidu.com/s/1ddVRG86W-dyk
NLP - 分词
小田的笔记簿
05-01 349
文章目录分词方法规则分词统计分词混合分词 分词方法 英文单词天然以空格分隔，汉语对词的构成边界很难进行界定。 中文分词方法可归纳为 规则分词 统计分词 混合分词（规则+统计） 规则分词 人工设立词库，按照一定方式进行匹配切分 优点：简单高效 缺点：无法处理未录入词库的新词（未登陆词） 需要不断维护和更新词典；在切分语句时，将语句的每个字符串 与词表中的每个词 进行逐一匹配，找到则切分，找不到则不予切分。 匹配方法： 正向最大匹配（Maximum Match），简称为MM法 逆向最大匹配，简称为
NLP自然语言处理中英文分词工具集锦与基本使用介绍
adnb34g的博客
05-31 775
一、中文分词工具 （1）Jieba （2）snowNLP分词工具 （3）thulac分词工具 （4）pynlpir 分词工具 （5）StanfordCoreNLP分词工具 1.from stanfordcorenlp import StanfordCoreNLP 2.withStanfordCoreNLP(r'E:\Users\Eternal Su...
英文文本分词处理（NLTK）
热门推荐
sk_berry的博客
04-02 3万+
1、NLTK的安装 首先，打开终端（Anaconda Prompt）安装nltk： pip install nltk 打开Python终端或是Anaconda 的Spyder并输入以下内容来安装 NLTK 包 import nltk nltk.download() 注意: 详细操作或其他安装方式请查看 Anaconda3安装jieba库和NLTK库。 2、NLTK分词和分句  由于英语的句子基...
python 英语文本分词
最新发布
10-16
您可以使用 Python 中的 NLTK 库进行英语文本分词。以下是一个简单的示例代码： ```python import nltk nltk.download('punkt') # 下载必要的数据 text = "This is a sample sentence, showing off the stop words filtration." tokens = nltk.word_tokenize(text) print(tokens) ``` 输出结果为： ``` ['This', 'is', 'a', 'sample', 'sentence', ',', 'showing', 'off', 'the', 'stop', 'words', 'filtration', '.'] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值