2021-3-30 python爬虫自学

正则表达式 re:
首先impo re
使用字符，转义字符和特殊字符组成一个规则，使用这个规则对文本的内容完成一个搜索或者匹配或替换的功能
正则表达式的组成：
普通字符： 大小写字母，数字，符合……
转义字符：\w,\W,\d,\D,\s,\S……
特殊字符：. *?^+[]{}()……
匹配模式：I U……

import re
#使用正则表达式进行匹配的基本语法
#1.定义字符串
vars='snh48xjq'
#2.告诉我要找什么
reg='\d'
#3.调用正则函数
res=re.finditer(reg,vars)
print(next(res))

re.match() 函数
从头开始匹配
要么第一个就符合要求，要么不符合
匹配成功则返回match对象，否则返回None
可以使用group（）方法获取返回的数据
可以使用span（）方法获取匹配的数据的下标区间
re.search（）
从字符串开头到结尾进行搜索匹配
匹配成功则返回match对象,否则返回None
可以使用group（）方法获取返回的数据
可以使用span（）方法获取匹配的数据的下标区间
区别：
match（）是从字符串开头进行匹配，如果开头不符合正则要求，则匹配失败，返回None
search()是从字符串的开始位置一直搜索到字符串最后，如果在整个字符串中没有匹配到，则失败，返回None

import re
#使用正则表达式进行匹配的基本语法
#1.定义字符串
vars='snh48TeamSIIXjq'
#2.告诉我要找什么
reg1='snh'
reg2='SII'
#3.调用正则函数
res=re.match(reg1,vars)
print(res.group())#获取返回的结果数据
print(res.span())#获取匹配结果的下标区间
print('----------------------')
res=re.search(reg2,vars)
print(res.group())
print(res.span())

import requests
import json
#如何爬取图片数据
if __name__=="__main__":
    #如何爬取图片数据
    url='https://pic.qiushibaike.com/system/pictures/12419/124194520/medium/FQM9VTDAWFWWPUY0.jpg'
    #content返回的是二进制形式的图片数据
    #text（字符串） content（二进制）json（）（对象）
    img_data=requests.get(url=url).content
    with open('./picture.jpg','wb')as fp:
        fp.write(img_data)

import requests
import re
import os
#如何爬取图片数据
if __name__=="__main__":
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./tupianLibs'):
        os.mkdir('./tupianLibs')
    url='https://www.qiushibaike.com/imgrank/'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                             '/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'}
    #使用通用爬虫对url对应一整张页面进行爬取
    page_text=requests.get(url=url,headers=headers).text
    #使用聚焦爬虫将页面中所有的图片进行解析/提取
    ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_src_list=re.findall(ex,page_text,re.S)
    print(img_src_list)
    #遍历
    for src in img_src_list:
        src = 'https:'+src #拼接出一个完整你的图片url
        #请求到了图片的二进制数据
        img_data=requests.get(url=src,headers=headers).content
        #生成图片名称
        img_name=src.split('/')[-1]
        #图片存储路径
        imgPath = './tupianLibs/'+img_name
        with open(imgPath,'wb') as fp:
            fp.write(img_data)
            print(img_name,'下载成功')

3#分页查询

import requests
import re
import os
#如何爬取图片数据
if __name__=="__main__":
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome'
                             '/89.0.4389.90 Safari'
                             '/537.36 Edg/89.0.774.63'}
    #创建一个文件夹，保存所有的图片
    if not os.path.exists('./tupianLibs'):
        os.mkdir('./tupianLibs')
    #设置一个通用的url模板
    url='https://www.qiushibaike.com/imgrank/page/%d/'

    for pageNum in range(1,10):
        #对应页码的url
        new_url=format(url%pageNum)
        #使用通用爬虫对url对应一整张页面进行爬取
        page_text=requests.get(url=url,headers=headers).text
        #使用聚焦爬虫将页面中所有的图片进行解析/提取
        ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
        img_src_list=re.findall(ex,page_text,re.S)
        print(img_src_list)
        #遍历
        for src in img_src_list:
            src = 'https:'+src #拼接出一个完整你的图片url
            #请求到了图片的二进制数据
            img_data=requests.get(url=src,headers=headers).content
            #生成图片名称
            img_name=src.split('/')[-1]
            #图片存储路径
            imgPath = './tupianLibs/'+img_name
            with open(imgPath,'wb') as fp:
                fp.write(img_data)
                print(img_name,'下载成功')