爬虫实战爬取图片

        最近喜欢存一些图片来当住头像或者背景图，接下来我们爬一下某网站的图片

1. 打开网站

        1.1 按f12 点击network 然后刷新一下

2. 双击一下

3. 这时候我们就可以写代码了 把基础的先写上

import requests

proxy = {
    'http': '122.9.101.6:8888'
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
url = 'https://www.qqtn.com/tp/meinvtp_1.html'
res = requests.get(url, headers=headers, proxies=proxy)
# 自动获取解码格式
res.encoding = res.apparent_encoding
# 获取网站的数据
data = res.text

4. 因为我们要爬取图片 那就要看图片在哪 就会用到我们学的xpath

5.我们一看 在 ul class="g-gxlist-imgbox"下 li 下a下的img的src属性

import requests
from lxml import etree

proxy = {
    'http': '122.9.101.6:8888'
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
url = 'https://www.qqtn.com/tp/meinvtp_1.html'
res = requests.get(url, headers=headers, proxies=proxy)
# 自动获取解码格式
res.encoding = res.apparent_encoding
# 获取网站的数据
data = res.text
free = etree.HTML(data)
# 找到图片的信息
url_list = free.xpath('//ul[@class="g-gxlist-imgbox"]/li//img/@src')
# 打印出图片的地址
for i in url_list:
    print(i)

6. 然后我们需要创建文件夹然后把这些图片下载进去

import time
import requests
from lxml import etree
import os.path
proxy = {
    'http': '122.9.101.6:8888'
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
url = 'https://www.qqtn.com/tp/meinvtp_1.html'
res = requests.get(url, headers=headers, proxies=proxy)
# 自动获取解码格式
res.encoding = res.apparent_encoding
# 获取网站的数据
data = res.text
free = etree.HTML(data)
url_list = free.xpath('//ul[@class="g-gxlist-imgbox"]/li//img/@src')
for i in url_list:
    print(i)
# 创建路径
path = '../img4'
# 判断文件是否存在
if not os.path.exists(path):
    os.mkdir(path)
    # 创建文件
i = 0
for url in url_list:
    res = requests.get(url, headers=headers)
    with open(os.path.join(path, str(i)+'.jpg'), 'wb') as f:
        f.write(res.content)
    i = i + 1
    # 每0.5秒访问
    time.sleep(0.5)

7.然后我们就会看到

这样我就把第一页的图片爬取下载到了本地文件夹

8. 那如何爬取多页呢？

不妨我们观察一下每页的地址

...

https://www.qqtn.com/tp/meinvtp_1.html

https://www.qqtn.com/tp/meinvtp_2.html

https://www.qqtn.com/tp/meinvtp_3.html

....

一看 其他的都一样就1 ，2 ，3 这不一样呗 那我们怎么样才能实现呢？可以用拼接 也可以用f{string} 我们爬取几页呢 可以用range来决定 用一下for循环

我们就可以这样想 用f{string} 把页面的url弄好然后调用 把url传过去 然后下载不就行了

import requests
from lxml import etree
import time
import os.path
import random
def get_img(url):
    
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
    }
    res = requests.get(url, headers=headers)
# 自动获取解码格式
    res.encoding = res.apparent_encoding
    data = res.text
    tree = etree.HTML(data)
    # 找到ul下所有li下a的img的路径
    url_img = tree.xpath('//ul[@class="g-gxlist-imgbox"]/li/a/img/@src')
    # 创建路径
    path = '../img4'
    # 判断文件是否存在
    if not os.path.exists(path):
        os.mkdir(path)
    # 得到路径并访问 下在到path路径中
    for url in url_img:
        res = requests.get(url, headers=headers)
# 如果用 i=0 可能会有重复 所以用了一个random。randint
        with open(os.path.join(path, str(random.randint(1,1000000))+'.jpg'), 'wb')as f:
            f.write(res.content)
        time.sleep(0.5)

# print(etree.tostring(url_page[0], encoding='utf-8').decode('utf-8'))
# url = 'https://www.qqtn.com/tp/meinvtp_1.html'
# 指定页数
if __name__ == "__main__":
    
    for i in range(1, 6):
        url = f'https://www.qqtn.com/tp/meinvtp_{i}.html'
        get_img(url)
        print(url)
        time.sleep(2)

这样我们就把1 到 5 页的图片下载到本地电脑上了。