低级图片采集

用于从网页上爬取图片并保存到本地目录。在代码的每一部分都加上了中文注释，以便理解。

# 导入所需的库
import os
import requests
from bs4 import BeautifulSoup

# 定义一个函数来下载图片
def download_image(url, save_dir):
    """
    下载图片并保存到指定目录

    :param url: 图片的URL
    :param save_dir: 保存图片的目录
    """
    # 发送 GET 请求获取图片资源
    response = requests.get(url)
    # 提取URL中的文件名
    filename = url.split('/')[-1]
    # 拼接保存路径和文件名
    filepath = os.path.join(save_dir, filename)
    # 以二进制写入模式打开文件并保存图片
    with open(filepath, 'wb') as f:
        f.write(response.content)

# 定义一个函数来爬取网页上的所有图片
def crawl_images(url, save_dir):
    """
    爬取网页上的所有图片并保存到指定目录

    :param url: 要爬取的网页URL
    :param save_dir: 保存图片的目录
    """
    # 发送 GET 请求获取网页内容
    response = requests.get(url)
    # 使用 BeautifulSoup 解析 HTML 页面
    soup = BeautifulSoup(response.content, 'html.parser')
    # 提取页面中的所有图片链接
    img_links = [link['src'] for link in soup.find_all('img') if 'src' in link.attrs]
    # 遍历图片链接，下载并保存图片到本地
    for link in img_links:
        download_image(link, save_dir)

# 程序的主入口
if __name__ == '__main__':
    # 设置要爬取的网页URL和保存图片的本地目录
    url = 'https://www.example.com'
    save_dir = './images'
    
    # 如果保存目录不存在，则创建该目录
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)
    
    # 调用函数，开始爬取图片
    crawl_images(url, save_dir)

这段代码首先导入了必要的模块，定义了两个函数：download_image用于下载单张图片，crawl_images用于爬取网页上所有的图片链接，并调用download_image函数下载图片。

 

以下是一些常见的爬虫设置请求头部、处理cookies和使用代理的方法：

1. 设置请求头部：

```python
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'zh-CN,zh;q=0.8',
}

response = requests.get('https://www.example.com', headers=headers)
```

2. 处理cookies：

```python
import requests

cookies = {'cookie_name': 'cookie_value'}

response = requests.get('https://www.example.com', cookies=cookies)
```

3. 使用代理：

```python
import requests

proxies = {
    'http': 'http://proxy.example.com:8080',
    'https': 'https://proxy.example.com:8080',
}

response = requests.get('https://www.example.com', proxies=proxies)
```

这些方法可以帮助你在爬虫中设置请求头部、处理cookies和使用代理