1.简单爬取百度网页内容:
爬取百度网页源代码:
import requests
r=requests.get("http://www.baidu.com")
r.status_code
r.encoding
r.encoding=r.apparent_encoding
r.text
结果展示:
2.爬取网页的通用代码框架:(这里继续选用百度网页)
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ =="__main__":
url="http://www.baidu.com"
print(getHTMLText(url))
爬取结果展示
3.京东商品页面爬取
京东商品页面爬取