Python爬取csdn个人首页中的所有封面

#爬取csdn个人首页中的所有封面
import requests
import json
import re

url='https://blog.csdn.net/community/home-api/v1/get-business-list?'
headers={'User-Agent':
         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43'
         }

img_mycsdn=[] #空列表存储所有封面网址
for pageNum in range(1,4):
    params={
    'page': pageNum,
    'size': '20',
    'businessType': 'lately',
    'noMore': 'false',
    'username': 'naozibuok',
}
    resp=requests.get(url=url,headers=headers,params=params)
    page_text=resp.text
    #print(page_text)

    with open ('D:\\Programming\\Microsoft VS Code Data\\WebCrawler\\data\\csdn\\'+str(pageNum)+'.json',
           '+a',
           encoding='utf-8'
           ) as fp:
          json.dump(obj=page_text,fp=fp,ensure_ascii=False) #将对象page_text序列化为 json 格式并写入文件
          print(pageNum,'页数据加载成功!')
          
    ex='\\"picList\\":\[\\"([^"]*)\\"\]'# 正则表达式匹配每一页中的图片网址
    page_img=re.findall(ex,page_text) # 使用正则表达式 ex 在 page_text 中匹配所有符合条件的子字符串,并将它们存储在 page_img 列表中
    img_mycsdn+=page_img #将每一页的图片网址加入总列表
    #print(img_mycsdn)
    
i=1 #i自加动态命名图片
for img_url in img_mycsdn:
     final_img=requests.get(url=img_url).content #图片以二进制形式存储
     img_name='img_'+str(i)
     with open ('D:\\Programming\\Microsoft VS Code Data\\WebCrawler\\data\\csdn\\images\\'+img_name+'.png',
               'ab',
               ) as fp:
           fp.write(final_img)
           print(img_name,'下载成功!')
           i+=1



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

脑子不好真君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值