p29csdn博文爬虫爬取

#csdn博文爬虫爬取
#第一步关键是如何确定能够唯一的找到那个文章
#先爬取整个所有博文的地址,然后在爬去、取改地址的内容
import urllib.request
import re
url="https://www.csdn.net/"
#需要浏览器伪装
headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36")
opener=urllib.request.build_opener()#建立opener对象先
opener.addheaders=[headers]
#安装为全局
urllib.request.install_opener(opener)
#url访问时自带报头
data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
pat=' <div class="title">\s*?<h2>\s*?<a href="(.*?)"'
rst=re.compile(pat).findall(data)#拿到首页所有的博文链接
#print(rst)
for i in range(0,len(rst)):
    #因为要与字符串连接，所以先转化为字符串
    localpath="D:\\pythonprojects\\result\\"+str(i)+".html"
    thislink=rst[i]
    #一键下载
    urllib.request.urlretrieve(thislink,filename=localpath)
    print("当前文章(第"+str(i)+"篇)爬取成功！")