Python-爬取csdn博客首页

最新推荐文章于 2021-07-25 17:51:22 发布

XIAOxiansheng98

最新推荐文章于 2021-07-25 17:51:22 发布

阅读量120

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/XIAOxiansheng98/article/details/107401097

版权

python 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

#爬取csdn博客首页
import urllib.request
import re
url="https://blog.csdn.net/"
#浏览器伪装
headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0")
opener=urllib.request.build_opener()
opener.addheaders=[headers]
#安装为全局
urllib.request.install_opener(opener)

data=urllib.request.urlopen(url).read().decode("utf-8","ignore")
pat='<a href="(.*?)" target="_blank" data-report-click'
A=re.compile(pat).findall(data)
for i in range(0,len(A)):
    localpath="E:\\daima\\"+str(i)+".html"
    B=A[i]
    urllib.request.urlretrieve(B,filename=localpath)
    print("当前文章"+str(i)+"爬取成功")