python对文本进行分词_使用原生 Python 来对文本进行分词-问答-阿里云开发者社区-阿里云...

首先，我们将抓取一些网页内容。然后来分析网页文本，看看爬下来的网页的主题是关于什么。我们将使用 urllib模块来抓取网页：

import urllib.request

response = urllib.request.urlopen('http://php.net/')

html = response.read()

print (html)

从打印输出中可以看到，结果中包含许多需要清理的HTML标记。我们可以用这个 BeautifulSoup 库来对抓取的文本进行处理：

from bs4 import BeautifulSoup

import urllib.request

response = urllib.request.urlopen('http://php.net/')

html = response.read()

soup = BeautifulSoup(html,"html5lib")

text = soup.get_text(strip=True)

print (text)

现在，我们能将抓取的网页转换为干净的文本。这很棒，不是么？

最后，让我们通过以下方法将文本分词：

from bs4 import BeautifulSoup

import urllib.request

response = urllib.request.urlopen('http://php.net/')

html = response.read()

soup = BeautifulSoup(html,"html5lib")

text = soup.get_text(strip=True)

tokens = [t for t in text.split()]

print (tokens)