(爬取菜单信息)想要一次性获取标签的所有的东西时不需要find_all再一个个循环,直接text即可!!!!

爬取菜单信息的时候,想要获取所有食材时:

网页源代码:

<p class="ing ellipsis">
            <span>新鲜豌豆米</span>、<a href="/category/580/" target="_blank">瘦肉</a>、<span>生抽,盐,生粉</span>

发现这里是两个span,一开始我是先find_all('span') 再把他们一个个存取到列表里面,左后再一个个取出,但这样搞复杂了,其实可以直接.text

text获取到的是该标签内的纯文本信息,即便是在它的子标签内,也能拿得到。但提取属性的值,只能提取该标签本身的。

from bs4 import BeautifulSoup

bs = BeautifulSoup('<p><a>惟有痴情难学佛</a>独无媚骨不如人</p>','html.parser')
tag = bs.find('p')
print(tag.text)

完美!!!

完整代码1.0:

import requests
from bs4 import  BeautifulSoup
res= requests.get('http://www.xiachufang.com/explore/') #获取网站源代码
html=res.text #解析网页时必须要是字符串类型
soup=BeautifulSoup(html,'html.parser')#解析网页源代码
menus=soup.find_all('div',class_='info pure-u')
for menu in menus:
    menu_name=menu.find('p',class_='name').find('a').text.strip()#strip()会把空格,跳行等符号取消掉
    menu_href=menu.find('p',class_='name').find('a')
    menu_foods=menu.find('p',class_='ing ellipsis').find_all('span')
    print('菜名:',menu_name,'\n')
    print('链接:',menu_href['href'],'\n')
    print('食材:','\n')
    a=[]
    for menu_food in menu_foods:
        a.append(menu_food.text)
    for i in a:
        print(i,end=' ')
    print('\n')
    print('**************************************','\n')

完整代码2.0:

#当数据比较乱,没有规律时可以使用这种办法,建两个空列表,把想要的先都find_all()
#存储到这两个列表里,最后输出的时候用一个for循环去遍历这两个空列表,
#把结果一个一个对应起来。

import requests
# 引用requests库
from bs4 import BeautifulSoup
# 引用BeautifulSoup库

res_foods = requests.get('http://www.xiachufang.com/explore/')
# 获取数据
bs_foods = BeautifulSoup(res_foods.text,'html.parser')
# 解析数据

tag_name = bs_foods.find_all('p',class_='name')
# 查找包含菜名和URL的<p>标签
tag_ingredients = bs_foods.find_all('p',class_='ing ellipsis')
# 查找包含食材的<p>标签
list_all = []
# 创建一个空列表,用于存储信息
for x in range(len(tag_name)):
# 启动一个循环,次数等于菜名的数量
    list_food = [tag_name[x].text[18:-14],tag_name[x].find('a')['href'],tag_ingredients[x].text[1:-1]]
    # 提取信息,封装为列表。注意此处[18:-14]切片和之前不同,是因为此处使用的是<p>标签,而之前是<a>
    list_all.append(list_food)
    # 将信息添加进list_all
print(list_all)
# 打印


# 以下是另外一种解法
#当数据比较有规律的时候用一个父级标签再去查找对应的信息

list_foods = bs_foods.find_all('div',class_='info pure-u')
# 查找最小父级标签

list_all = []
# 创建一个空列表,用于存储信息

for food in list_foods:

    tag_a = food.find('a')
    # 提取第0个父级标签中的<a>标签
    name = tag_a.text[17:-13]
    # 菜名,使用[17:-13]切掉了多余的信息
    URL = 'http://www.xiachufang.com'+tag_a['href']
    # 获取URL
    tag_p = food.find('p',class_='ing ellipsis')
    # 提取第0个父级标签中的<p>标签
    ingredients = tag_p.text[1:-1]
    # 食材,使用[1:-1]切掉了多余的信息
    list_all.append([name,URL,ingredients])
    # 将菜名、URL、食材,封装为列表,添加进list_all

print(list_all)
# 打印
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值