访问html返回纯文本,urlopen/read返回带有html标记的文本，而不是纯文本

我只是想复制-http://www.nltk.org/book/ch03.html中给出的代码，以便从web读取数据。。

本章中提到了这一点。你知道吗>>> from urllib import request

>>> url = "http://www.gutenberg.org/files/2554/2554.txt"

>>> response = request.urlopen(url)

>>> raw = response.read().decode('utf8')

>>> type(raw)

>>> len(raw)

1176893

>>> raw[:75]

'The Project Gutenberg EBook of Crime and Punishment, by Fyodor Dostoevsky\r\n'

以下是我编写的代码：from urllib import request

#url = "http://www.gutenberg.org/files/2554/2554.txt"

#(original as per the chapter sample code.. but gives error hence

#changed to below url string.)

url = "http://www.gutenberg.org/files/2554/2554-h/2554-h.htm"

response = request.urlopen(url)

raw = response.read().decode('utf8')

print('data type of raw = ', type(raw))

print('length of raw = ', len(raw))

print('initial contents - ', raw[:175])

tokens = word_tokenize(raw)

print('tokens\n', tokens[:100])

这将返回没有html标记的文本。但我得到的是带有标签的输出。你知道吗

见下面tokens的输出：

['', '', '', '', '', 'Crime', 'and', 'Punishment', ',', 'by', 'Fyodor', 'Dostoevsky', '', '', 'body', '{', 'margin:5', '%', ';', 'background', ':', '#', 'faebd0', ';', 'text-align', ':', 'justify', '}', 'P', '{', 'text-indent', ':', '1em', ';', 'margin-top', ':', '.25em', ';', 'margin-bottom', ':', '.25em', ';']

我应该怎么做才能得到纯文本作为输出？你知道吗