python爬虫——爬取星巴克商品菜单

一、首先获取星巴克地址，并分析有无反爬。

星巴克菜单网址：https://www.starbucks.com.cn/menu/

url = 'https://www.starbucks.com.cn/menu/'

response = urllib.request.urlopen(url=url)

content = response.read().decode('utf-8')

print(content)

二、写程序入口，创建请求对象，并写出请求函数：

request = creat_request()

def creat_request():
    url = 'https://www.starbucks.com.cn/menu/'

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.33'
    }
    request = urllib.request.Request(url=url,headers=headers)

    return request

三、获取网页源码，并写出获取源码函数：

content = get_content(request)

def get_content(request):
    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    return content

四、创建下载函数：

down_load(content)

def down_load(content):

五、在这里我们需要星巴克网站菜单名称和图片，这里用到的是xpath工具辅助

在这里看到图片地址，在style标签里面，所以后续要对它进行分割处理。

tree = etree.HTML(content)
    name_list = tree.xpath('//div[@class="wrapper fluid margin page-menu-list"]//strong/text()')
    img_list = tree.xpath('//a/div/@style')

随后用for 循环遍历图片名称和图片地址，并且获取到的图片地址前要加上前缀'https://www.starbucks.com.cn'才能查询到。

图片名称中：/不能存在，所以需要replace进行替换为空

 for i in range(len(name_list)):
        name = name_list[i].replace('/', '')
        img = img_list[i].split('"')[1]
        img = 'https://www.starbucks.com.cn' + img
        url = img
        print(name, img)

六、开始下载，设置好自己想存储的图片位置：

urllib.request.urlretrieve(url=url, filename='./XBK_menu/' + name + '.jpg')

七、运行结果如下：

代码链接：

python爬虫-爬取星巴克商品菜单