Python爬虫:静态网址的爬取

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理

作者：il_持之以恒_li   

本文链接：https://blog.csdn.net/qq_45404396/article/details/111689288

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

 

1. 判断网址是静态网址还是动态网址

判断网址是否为静态网址还是动态网址，一般方法是查看网页的源代码或者来到开发者模式下，点击Network，点击All，找到我们想要的那个网址，然后点击Response，如果我们随便搜索一个字段都能在这个网址中找到，那么就应该是静态网址；相反，就是动态网址。如下：我要爬取这个网址下的相应的内容，
我们来到这个界面，点击搜索（Ctrl+F）：家常红烧鱼

发现这个网址下有这个字段，说明这是一个静态网址。

2. 需要的Python模块

完成这个项目需要的Python模块有：requests、bs4、urllib.parse、os
其中，第一个模块用于爬取网址上的信息，第二个模块用于解析我们爬取得到的信息，urllib.parse主要是用来进行编码，os模块用于创建文件夹，将菜谱上面的制作方法存储到一个文件中。

3. 具体实现过程

输入自己想了解的菜的名称：用变量keyword接收
得到网址为：url=“https://www.haodou.com/search/recipe/%s”%parse.quote(keyword)
然后再从搜索得到的菜谱中选择一个自己想了解的菜，当然这需要得到这个菜的链接

最后来到这个菜的制作方法的网址

4.实现代码与运行结果

实现代码为：

from urllib import parse
from bs4 import BeautifulSoup
import requests
import os


class HaoDou():
    def __init__(self,keyword):
        self.keyword=keyword
        self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400"}
        # 模拟浏览器
        self.url="https://www.haodou.com/search/recipe/%s"%parse.quote(keyword)

    def getResponse(self):
        response=requests.get(url=self.url,headers=self.headers)
        text=response.text
        html=BeautifulSoup(text,"lxml")
        list=html.select("div.search-result>div.el-row>div>a")
        hrefList=[]
        for i in range(len(list)):
            print("*"*30)
            print("$:【{}】->{}".format(i+1,list[i]['title']))
            hrefList.append(list[i]['href'])   # 将网址添加到列表中
            list2=list[i].select("div.img-cover.slide-mask>div>span") # 得到食材
            infoStr=""
            for html2 in list2:
                infoStr+=html2.text
            print("食材："+infoStr)

        id=int(input("请输入你想看的序号："))
        response2=requests.get(url='https://www.haodou.com'+hrefList[id-1],headers=self.headers)

        return response2

    def getInfo(self):
        text=self.getResponse().text
        html=BeautifulSoup(text,'lxml')
        list=html.select('div.practice>div.ingredient>div.paixu>div>a')
        mainStr=""  # 主料
        for i in range(len(list)):
            mainStr+=list[i].text+" "
        list2=html.select('div.practice>div.accessories>div.paixu>div')
        aStr=""  # 辅料
        for i in range(len(list2)):
            aStr+=list2[i].text+" "
        mStr=""
        list3=html.select('div.practice>div.practices>div.pai>div')
        for i in range(len(list3)):
            mStr+=list3[i].text+"\n"
        print("主料："+mainStr)
        print("辅料："+aStr)
        print(mStr)  # 制作过程

        # 将上述三个字符串写入到文件中
        path = "./制作方法"
        try:
            os.mkdir(path)
        except Exception as e:
            print(e)
        with open(file="{}/{}.txt".format(path,self.keyword),mode="a",encoding='utf-8')as f:
            f.write(mainStr+"\n")
            f.write(aStr+"\n")
            f.write(mStr)
        print("已写入到文件中，读者到时候记得去看啊！")

if __name__ == '__main__':
   	a=HaoDou(input("请输入你想了解的菜："))
    a.getInfo()

运行结果：


运行完成之后，可以发现多了一个制作方法的文件夹，菜的制作方法就在这个文件夹下面的一个文件里面，如：