在Python中用beautifulsoup爬去网页的时候遇到<br>或者<br/>隔开的文本内容,趴下来的结果是只能获取到<br>或者<br/>最后一个文本内容,其他的则获取不到。
为了解决这个问题,只需要一步替换。
for example:
<div id='abc'>
aaa<br>
bbb<br>
ccc<br>
</div>
之前:contenttag = pagesoup.select('#abc')
content = contenttag.get_text()
print(content)
content:内容是 ccc
替换后:
contenttag = pagesoup.select('#abc)
content = contenttag.get_text(''\n",'<br>')
print(content)
这时候 content是:
aaa
bbb
ccc
这是换行后的提取效果,或者用空格代替也可以,contenttag>get_text('','<br>')
这时候的content是:aaa bbb ccc