本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有,如有问题请及时联系我们以作处理
作者:il_持之以恒_li
本文链接:https://blog.csdn.net/qq_45404396/article/details/111689288
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
1. 判断网址是静态网址还是动态网址
判断网址是否为静态网址还是动态网址,一般方法是查看网页的源代码或者来到开发者模式下,点击Network,点击All,找到我们想要的那个网址,然后点击Response,如果我们随便搜索一个字段都能在这个网址中找到,那么就应该是静态网址;相反,就是动态网址。如下:我要爬取这个网址下的相应的内容,
我们来到这个界面,点击搜索(Ctrl+F):家常红烧鱼
发现这个网址下有这个字段,说明这是一个静态网址。
2. 需要的Python模块
完成这个项目需要的Python模块有:requests、bs4、urllib.parse、os
其中,第一个模块用于爬取网址上的信息,第二个模块用于解析我们爬取得到的信息,urllib.parse主要是用来进行编码,os模块用于创建文件夹,将菜谱上面的制作方法存储到一个文件中。
3. 具体实现过程
输入自己想了解的菜的名称:用变量keyword接收
得到网址为:url=“https://www.haodou.com/search/recipe/%s”%parse.quote(keyword)
然后再从搜索得到的菜谱中选择一个自己想了解的菜,当然这需要得到这个菜的链接
最后来到这个菜的制作方法的网址
4.实现代码与运行结果
实现代码为:
from urllib import parse
from bs4 import BeautifulSoup
import requests
import os
class HaoDou():
def __init__(self,keyword):
self.keyword=keyword
self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400"}
# 模拟浏览器
self.url="https://www.haodou.com/search/recipe/%s"%parse.quote(keyword)
def getResponse(self):
response=requests.get(url=self.url,headers=self.headers)
text=response.text
html=BeautifulSoup(text,"lxml")
list=html.select("div.search-result>div.el-row>div>a")
hrefList=[]
for i in range(len(list)):
print("*"*30)
print("$:【{}】->{}".format(i+1,list[i]['title']))
hrefList.append(list[i]['href']) # 将网址添加到列表中
list2=list[i].select("div.img-cover.slide-mask>div>span") # 得到食材
infoStr=""
for html2 in list2:
infoStr+=html2.text
print("食材:"+infoStr)
id=int(input("请输入你想看的序号:"))
response2=requests.get(url='https://www.haodou.com'+hrefList[id-1],headers=self.headers)
return response2
def getInfo(self):
text=self.getResponse().text
html=BeautifulSoup(text,'lxml')
list=html.select('div.practice>div.ingredient>div.paixu>div>a')
mainStr="" # 主料
for i in range(len(list)):
mainStr+=list[i].text+" "
list2=html.select('div.practice>div.accessories>div.paixu>div')
aStr="" # 辅料
for i in range(len(list2)):
aStr+=list2[i].text+" "
mStr=""
list3=html.select('div.practice>div.practices>div.pai>div')
for i in range(len(list3)):
mStr+=list3[i].text+"\n"
print("主料:"+mainStr)
print("辅料:"+aStr)
print(mStr) # 制作过程
# 将上述三个字符串写入到文件中
path = "./制作方法"
try:
os.mkdir(path)
except Exception as e:
print(e)
with open(file="{}/{}.txt".format(path,self.keyword),mode="a",encoding='utf-8')as f:
f.write(mainStr+"\n")
f.write(aStr+"\n")
f.write(mStr)
print("已写入到文件中,读者到时候记得去看啊!")
if __name__ == '__main__':
a=HaoDou(input("请输入你想了解的菜:"))
a.getInfo()
运行结果:
运行完成之后,可以发现多了一个制作方法的文件夹,菜的制作方法就在这个文件夹下面的一个文件里面,如: