1 、 百科网页请求
1.1 网站解析requests
与urllib.request
对比:
py3中主要用requests
以及urllib.request
两款库用来做网页内容的解析,两者的使用较多以requests
为优,解析的内容会做较多的优化。
两款内容的对比:
from bs4 import BeautifulSoup
url="http://finance.qq.com/gdyw.htm"
##使用urllib.request的代码:
import urllib.request
html=urllib.request.urlopen(url).read()
html=html.decode('gb2312',errors='ignore')
soup1=BeautifulSoup(html,'lxml')
lfls1 = str(soup1).split('<!-- 左侧列表 -->',2)
##使用requests的代码:
import requests
response = requests.get(url)
soup2 = BeautifulSoup(respo