开始前的叨逼叨:
鄙人完全零基础艺术生一枚,一切靠自学,主要目的是希望以后能从事数据运营类工作,文中内容为自己理解整理,烦请路过的各位大神多多指教!
/robots.txt查看robots协议
一、爬取通用框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()#状态码,200为正常
r.encoding=r.apparent_encoding#通过内容解析(更加准确)
return r.text#返回页面内容,r.text[-500]表示爬取内容的最后500个字节
except:
return '产生异常'
url='www.baidu.com'
print(getHTMLText(url))
模拟浏览器访问
kv={'user-agent':'Mozilla/5.0'}#在通用框架try下第一行加入此行
#Mozilla5.0代表浏览器
url='www.baidu.com'
r=requests.get(url,headers=kv)
#改变访问header为浏览器
二、爬取图片
#爬取图片全代码
import requests
import os
url='http://image.ngchina.com.cn/2019/0703/20190703043116818.jpg'
root='D://pics//'
path=root+url.split('/')[-1]
try:
if not os.path.exists(root):#判断当前根目录是否存在
os.mkdir(root)
if not os.path.exists(path):#判断当前文件是否存在
r=requests.get(url)
with open(path.wb) as f:
f.write(r.content)#r.content表示将内容以二进制形式爬取
f.close()#关闭
print('文件保存成功')
else:
print('文件保存失败')
except:
print('爬取失败')
课程地址:《Python网络爬虫与信息提取》