python爬虫爬取CSDN文章

最新推荐文章于 2024-06-28 10:41:11 发布

前端技术

最新推荐文章于 2024-06-28 10:41:11 发布

阅读量2.5k

点赞数 1

分类专栏： Python爬虫 python 文章标签： python html 人工智能

本文链接：https://blog.csdn.net/guoxuying/article/details/113826497

版权

python 同时被 2 个专栏收录

25 篇文章 13 订阅

订阅专栏

Python爬虫

19 篇文章 9 订阅

订阅专栏

python爬虫爬取CSDN文章

话不多说，直接上代码：

import urllib.parse
import requests
from bs4 import BeautifulSoup

author_title = input('请输入作者的标签：')
url="https://blog.csdn.net/"+urllib.parse.quote(author_title)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'}
ss=None
try:
    r=requests.get(url,headers=headers,timeout=30)
    soup = BeautifulSoup(r.text, 'lxml')
    for s in soup.findAll(name="div", attrs={"class" :"article-item-box csdn-tracking-statistics"}):
    	for ss in s.findAll(name="h4"):
    		sss=ss.find(name="a",href=True);
    		print("文章标题："+ss.getText().replace("原","").strip()+"\n文章链接："+sss['href'])
except Exception as e:
    print("出现异常------异常信息："+repr(e));