python-71：get_text()

2019独角兽企业重金招聘Python工程师标准>>>

上一小节我们已经实现将带有正文部分的那段源码抠出来了，我们现在要考虑的问题是怎么获取里面的文字内容。

获取文字内容前面也遇到过，.string 方法，但是这个方法只能获取单个tag的内容，如果一个tag里面还包含其他的子孙节点的话，使用.string方法会返回None，这就意味着我们需要使用另外一个方法来实现我们想要的功能，最好的情况是真的有这样一个方法。

get_text()

如果只想得到tag中包含的文本内容,那么可以嗲用 get_text() 方法,这个方法获取到tag中包含的所有文版内容包括子孙tag中的内容,并将结果作为Unicode字符串返回:
markup = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
soup = BeautifulSoup(markup)
soup.get_text()
u'\nI linked to example.com\n'
soup.i.get_text()
u'example.com'

可以通过参数指定tag的文本内容的分隔符:
# soup.get_text("|")
u'\nI linked to |example.com|\n'

还可以去除获得文本内容的前后空白:
# soup.get_text("|", strip=True)
u'I linked to|example.com'

这里的描述已经很清楚了，而且例子也是很好理解，通过文档中的这段内容，如果我们想要获取正文中的文本内容，我们需要将这句代码加入到刚才的程序中，改完之后的程序应该是这样的

#!/usr/bin/env python
# -*- coding:UTF-8 -*-
__author__ = '217小月月坑'

'''
get_text()获取文本内容
'''

import urllib2
from bs4 import BeautifulSoup

url = 'http://beautifulsoup.readthedocs.org/zh_CN/latest/#'
request = urllib2.Request(url)
response = urllib2.urlopen(request)
contents = response.read()
soup = BeautifulSoup(contents)
soup.prettify()

result = soup.find(itemprop="articleBody")
print result.get_text()

结果是这样的

这个结果比我预想的要好很多，因为我在看网页源码时，发现有很多转义字符或者什么七七八八的东西，就比如这样的&lt;&quot 等等

<div class="highlight-python"><div class="highlight"><pre><span class="n">html_doc</span> <span class="o">=</span> <span class="s">&quot;&quot;&quot;</span>
<span class="s">&lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse&#39;s story&lt;/title&gt;&lt;/head&gt;</span>
<span class="s">&lt;body&gt;</span>
<span class="s">&lt;p class=&quot;title&quot;&gt;&lt;b&gt;The Dormouse&#39;s story&lt;/b&gt;&lt;/p&gt;</span>

<span class="s">&lt;p class=&quot;story&quot;&gt;Once upon a time there were three little sisters; and their names were</span>
<span class="s">&lt;a href=&quot;http://example.com/elsie&quot; class=&quot;sister&quot; id=&quot;link1&quot;&gt;Elsie&lt;/a&gt;,</span>
<span class="s">&lt;a href=&quot;http://example.com/lacie&quot; class=&quot;sister&quot; id=&quot;link2&quot;&gt;Lacie&lt;/a&gt; and</span>
<span class="s">&lt;a href=&quot;http://example.com/tillie&quot; class=&quot;sister&quot; id=&quot;link3&quot;&gt;Tillie&lt;/a&gt;;</span>
<span class="s">and they lived at the bottom of a well.&lt;/p&gt;</span>

<span class="s">&lt;p class=&quot;story&quot;&gt;...&lt;/p&gt;</span>
<span class="s">&quot;&quot;&quot;</span>
</pre></div>

我还以为这些需要我们自己进行替换，但没想要BS4直接帮我把这些字符给转好了，但是转念一想，BS4基于HTML规则来进行分析，而这些字符也是符合HTML规则的，所以能够正常转义也没有什么奇怪的

好了获取正文的文本内容就到这里，这几个小节的体验告诉我，BS4还是很方便的

转载于:https://my.oschina.net/u/2429887/blog/597116