爬取CSDN博客首页的文章

#爬取https://blog.csdn.net/首页所有文章到本地

import re
import os
import urllib.request
import urllib.error

#设置用户浏览器代理

header=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3641.400 QQBrowser/10.4.3284.400")

opener=urllib.request.build_opener()

opener.addheaders=[header]

#将header设置为全局

urllib.request.install_opener(opener)

url="https://blog.csdn.net/"

data=opener.open(url).read().decode("utf-8")

pat='''data-track-click='{"mod":"popu_459","con":",(.*?),'''

blogurl=re.compile(pat).findall(data)

#通过列表变为元组在变为列表的方式来进行除重

blogurl=list(set(blogurl))

#获取的链接数

pagesnum=len(blogurl)

#指定本地存放目录

localpath="C:\\Users\\gaoxingyuan\\Desktop\\cndnblog\\"

#如果没有这个目录则创建该目录

if not os.path.exists(localpath):

        os.mkdir(localpath)
print("该页面一共有"+str(pagesnum)+"篇文章")

#匹配每篇文章题目的正则表达式
pat2='''"keyword":"(.*?)"}'>'''
    
for i in range(0,len(blogurl)):
    try:

        thislink=blogurl[i]

        #获取文章标题
        data2=urllib.request.urlopen(thislink).read().decode("utf-8")

        name=re.compile(pat2).findall(data2)
            

        #下载该链接到本地        

        urllib.request.urlretrieve(thislink,localpath+str(name)+".html")

        #给文件重命名
        print("第"+str(i+1)+"/"+str(pagesnum)+"篇文章已成功爬取到本地......"+"\n")

        
    except Exception as e:

        print("第"+str(i+1)+"/"+str(pagesnum)+"下载失败\n原因是："+str(e))