爬虫—美食天下各类菜谱的菜单信息_爬取美食信息点赞人气(2)

效果图


源码

import csv
import os
import random

import requests
from lxml import etree

# 请求头
head = ['Mozilla/5.0', 'Chrome/78.0.3904.97', 'Safari/537.36']
headers = {
    'user-agent': head[random.randint(0, 2)]
}


def makedir(path):
    path = path.strip()
    # 去除尾部 \ 符号
    path = path.rstrip("\\")
    if not os.path.exists(path):
        os.mkdir(path)
        return True
    else:
        return False


def getHtml(url):
    try:
        response = requests.request("GET", url=url, headers=headers)
        if response.status_code == 200:
            response.encoding = 'utf-8'
            return response.text
        else:
            return response.status_code
    except Exception as e:
        return e


def htmlToTree(html):
    return etree.HTML(html)


def elementToString(element):
    return etree.tostring(element, pretty_print=True, encoding='utf-8').decode('utf-8')


def parseHtml(html):
    allcategory = []
    tree = htmlToTree(html)
    path = '//div[@class="wrap"]//div[@class="category\_box mt20"]/div[@class="category\_sub clear"]'
    data = tree.xpath(path)
    for item in data:
        category_list = []
        div = elementToString(item)
        div_tree = htmlToTree(div)
        category = div_tree.xpath('//h3/text()')[0]
        category_name = div_tree.xpath('//ul/li/a/text()')
        category_url = div_tree.xpath('//ul/li/a/@href')
        category_list.append(category)
        category_list.append(dict(zip(category_name, category_url)))
        allcategory.append(category_list)
    return allcategory


def writerCsv(food_list, category_name, name):
    try:
        title = [key for key in food_list[0].keys()]  # 表头的代码去掉
        if '/' in name or category_name:
            name = name.replace('/', '')
            category_name = category_name.replace('/', '')
        path = os.path.join(os.getcwd() + '\\source\\{0}'.format(category_name))
        flag = makedir(path)
		csvdata = open('source/{0}/{1}.csv'.format(category_name, name), 'a', encoding='utf-8')
        dictwriter = csv.DictWriter(csvdata, fieldnames=title)
        dictwriter.writeheader()
        # for data in food\_dict:
        # dictWriter.writerow(data)
        dictwriter.writerows(food_list)
        csvdata.close()
        return True
    except Exception as e:
        return False
### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**