本部分参考:MOOC课程:嵩天
主要内容:爬虫获取html格式的简单方法
1.爬虫的基础
2.爬虫的最简单框架
import requests
try:
r = requests.get("https://baidu.com")
r.encoding = r.apparent_encoding
print(r.text)
except:
print("爬取失败")
但是,我们知道,有些网站是会查看你的user agent,如果你不是浏览器,就会阻止你访问。
解决方法:
import requests
url = "某网址"
try:
kv = {"user-Agent":'Mozilla/5.0'}
r = requests.get(url,headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失败")
3.爬虫的五个简单实例
1.模拟百度搜索
# 百度搜索
import requests
keyword = input('输入搜索关键字:')
try:
kv = {'wd':keyword}
r = requests.get("http://www.baidu.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失败")
2.IP地址查询
# IP地址
import requests
url = "http://m.ip138.com/ip.asp?ip="
adr = input('请输入类似202.205.80.112的地址:')
try:
r = requests.get(url+adr)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[-500: ])
except:
print("爬取失败")
3.图片爬取
# 定向获取图片
import requests
import os
url = "http://zsw.bjtu.edu.cn/data/upload/ueditor/20160511/5732dd92e02cf.jpg"
root = "E://markdown//"
path = root+url.split('/')[-1] # 这里的path不能和root一样
if not os.path.exists(root):
os.mkdir(root)
r = requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print('图片爬取成功')