python爬取好豆网菜谱

最新推荐文章于 2022-12-06 14:14:25 发布

江水居士

最新推荐文章于 2022-12-06 14:14:25 发布

阅读量1.1k

点赞数

分类专栏： python 文章标签： python爬虫

本文链接：https://blog.csdn.net/qq_35557718/article/details/97805692

版权

爬取过程分析：
1、分析网页，发现好豆网的菜谱的url均为：https://www.haodou.com/recipe/id/
2、用beautifulsoup解析网页获得菜名，图片及菜谱，去除不必要的网页代码信息
3、将菜的图片存至本地，以菜名命名，将菜谱以文本方式存至本地

具体代码如下：


import requests
import urllib
import re
import lxml
from bs4 import BeautifulSoup

url = 'https://www.haodou.com/recipe'

id = 30
err_num = 0
while(id<200):
    id +=1
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
        url = 'https://www.haodou.com/recipe/'
        resp = requests.get(url+str(id)+'/').text
        # resp.encoding = resp.apparent_encoding
        # print(resp)

        soup = BeautifulSoup(resp,'lxml')
        # print(soup)
        rec