python网页爬取通用框架
import requests
def getHTMLText(url):
try:
r = request.get(url,timout=30)
r.raise_for_status() #如果状态不是200,则引发HTTPerror异常
r.encoding=r.apparent_encoding #转码
return r.text
except:
return "出现异常"
if __main__="__main__":
url = "www.baidu.com"
print(getHTMLText)
网络页面爬取实例
京东页面爬取实例
import requests
url="https://item.jd.com/56647977344.html" #京东商品的网页连接
try:
r = requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000]) #输出前1000行的内容
except:
print("爬取失败")
亚马逊网站的页面爬取
亚马逊网站禁止python-requests的访问爬取,因此需要修改头部信息将’user-agent’修改成’Mozilla/5.0’
import requests
url="https://www.amazon.cn/dp/B015P0A53Q?smid=A2EDK7H33M5FFG&ref_=Oct_CBBBCard_dsk_asin4&pf_rd_r=CABV255AWH29S8SNHFGQ&pf_rd_p=5a0738df-7719-4914-81ee-278221dce082&pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-3"
try:
kv={'user-agent':'Mozilla/5.0'} #修改头部信息
r=requests.get(url,headers=kv) #令头部信息等于kv
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000]) #输出前1000行的代码
except:
print("爬取失败")
百度360关键词提交
搜索引擎关键词提交接口,本人也不是十分清楚这个搜素接口如何查找,如果有高手请指正
百度的关键词接口:
http://www.baidu.com/s?wd=keyword
360的关键词接口:
http://www.so.com/s?q=keyword
import requests
keyword="python"
try:
kv={'wd': keyword}
r=requests.get("http://www.baidu.com/s", params=kv)
print(r.request.url) #输出得到的搜索连接
r.raise_for_status()
print(len(r.text)) #输出词条数量
except:
print("爬取异常")
网络图片爬取和存储
选择一个图片web页面:
http://www.nationalgeographic.com.cn/photography/photo_of_the_day/3921.html
import requests
import os
url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root="C://users//Changnie//Documents//study//"
path=root+url.split('/')[-1] #root和url之间用/进行分隔
try:
if not os.path.exists(root): #判断root是否存在,若不存在则创建一个
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件保存失败")
except:
print("爬取失败")
IP地址查询的全代码
import requests
url="http://m.ip138.com/ip.asp?ip="
try:
r=requests.get(url+'202.204.80.112')
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失败")