本项目采用的是https://github.com/Yixiaohan/show-me-the-code中所提供的练习项目,所有代码均为原创,转载请注明,谢谢。
问题描述:练习0008的问题是你有一个网页,需要将网页的正文提取出来。具体代码如下:
# -*- coding: utf-8 -*-
"""
Created on Mon Jan 09 13:10:54 2017
@author: sky
"""
import requests
from bs4 import BeautifulSoup
import codecs
url='http://www.baidu.com'
html=requests.get(url)
soup=BeautifulSoup(html.text)
a = soup.body.text.encode('GBK','ignore').decode('GBK')
b = a.encode('utf-8')
file = codecs.open('1.txt','w')
file.write(b)
file.close()
print a
注意:利用beautifulsoup可以进行简单的文字提取
但是提取出的结果为Unicode,需要用codercs进行转换
详细代码和结果,可以参考https://github.com/g8015108/exercise-for-python
Unicode可以参考http://www.cnblogs.com/jackge/archive/2013/06/04/3117352.html