Python爬虫基础知识笔记——聚焦爬虫正则

最新推荐文章于 2024-10-27 11:29:42 发布

wlrobot

最新推荐文章于 2024-10-27 11:29:42 发布

阅读量85

点赞数

分类专栏：爬虫基础知识笔记文章标签： python

本文链接：https://blog.csdn.net/weixin_51382726/article/details/116879839

版权

爬虫基础知识笔记专栏收录该内容

7 篇文章 0 订阅

订阅专栏

数据解析

数据解析的原理：
在这里插入图片描述
数据解析分类
正则

在这里插入图片描述

bs4

xpath

聚焦爬虫

爬取页面中指定的页面内容。

爬取图片

import requests
url='https://pic.qiushibaike.com/system/pictures/12432/124323774/medium/4TR4PKG57RJD1N82.jpg'
#content返回的是二进制的图片数据
#text（字符串）content（二进制）json（对象）
img_data=requests.get(url).content
with open('./qiutu.jpg','wb') as fp:
    fp.write(img_data)

在这里插入图片描述

下载图片

import requests
import re
url='https://www.qiushibaike.com/imgrank/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
#使用通用爬虫对url对应的一整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫将页面所有的糗图进行解析
ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_str_list=re.findall(ex,page_text,re.S);
for src in img_str_list:
    #拼接出一个完整的图片url
    src ='https:'+src
    img_data=requests.get(url=src,headers=headers).content
    #输出图片名称
    img_name=src.split('/')[-1]
    #图片存储的路径
    imgPath='./giutuLibs'+img_name
    with open(imgPath,'wb') as fp:
        fp.write(img_data)
        print(img_name,'下载成功')