python 爬取菜单生成菜谱，做饭买菜不用愁

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

知识点

---

从本项目中，你可以学到以下知识：

1.爬虫的基本流程

2.xpath 提取数据

3.创建，写入，读取 csv

4.pandas 随机选择数据 sample()

5.DateFrame 转为 List

6.ui 生成工具 page 的使用

7.根据生成 ui 代码，添加事件触发逻辑

8.词云制作

项目流程

---

在项目文件中有一个 read.txt 文件，里面也有说明项目的模块划分。

spider.py 为爬虫文件，爬取我们需要的数据，逻辑为：创建 csv，创建 url 后遍历访问，提取数据，写入 csv。

在获得的 csv 有一个问题，打开看会是乱码，设置为 utf8，gbk 都不能正常在 wps 显示，但用 txt 打开是正常显示，经过测试，在 ui 界面显示也正常，这是因为在食材中有一些表情字符，获得后的 csv 不需要任何处理：

接下来制作 ui 界面，使用了 page 工具来生成界面代码，关于这个工具安装配置参考：

Python 脚本 GUI 界面生成工具

---

小编这里是设计好的，就再简单介绍一下：

从左侧 “Widget Toolbar” 控件栏，选择相应控件到中间窗口即可，对于按钮控件，我们需要添加触发命令，点击 “生成菜单” 就会运行相应逻辑。

选中 “菜单生成” 控件，再选中 “Attribute Editor” 栏的 “Attribute” ，在 “command” 写入触发函数名，“text” “tooltip” 分别为文本显示，提示标签：

设计好后，先保存，小编的保存文件名为 ui，它是保存为 ui.tcl 文件，现在把界面代码也保存：

分别点击 “Save” 保存这两个文件，会保存在与 ui.tcl 的同一目录。

“python GUI” 是界面逻辑，保存后的文件名为 ui.py，不需要动。

“Support Module” 是触发事件代码，我们相应的逻辑就是在这里面添加：

打开 ui_support.py ，找到设置的 “command”，即为函数名：

clean 函数为点击【清除】按钮后，把文本框清除：

creat_menu 函数为点击【生成菜谱】按钮后的逻辑，从 csv 中随机抽取三菜一汤显示在文本框，显示词云在标签栏。

其主要为：读取 csv，DataFrame 转化为 list，合并【三菜一汤】，制作菜单的文本，保存食材词，菜单文本框插入，词云生成，插入词云：

这样所有逻辑都完成了，运行 ui_support.py 即可开始菜谱生成啦~

完整代码

---

spider.py

import requests

import csv

from lxml import etree

from fake_useragent import UserAgent

def create_csv():

‘’’

创建 foods.csv, soups.csv

‘’’

head = [‘name’,‘food’,‘score’,‘link’]

csvs = [‘foods.csv’,‘soups.csv’]

for c in csvs:

with open(c,‘w’,encoding=‘gbk’,newline=‘’) as f:

writer = csv.writer(f)

writer.writerow(head)

def get_html(url,kind):

‘’’

请求 html

‘’’

headers = {

‘User-Agent’ : UserAgent().random,

‘Cookie’ : ‘bid=SUKKdKjF; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22171a785835191-0292964d820ab7-4313f6a-921600-171a78583520%22%2C%22%24device_id%22%3A%22171a785835191-0292964d820ab7-4313f6a-921600-171a78583520%22%2C%22props%22%3A%7B%22%24latest_referrer%22%3A%22%22%2C%22%24latest_referrer_host%22%3A%22%22%2C%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%7D; __utmz=177678124.1587653477.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __gads=ID=e0150cd671284025:T=1587653477:S=ALNI_Mbm6h5yX4RCMFDKDV9SBCRwZXLwFg; Hm_lvt_ecd4feb5c351cc02583045a5813b5142=1587653477,1587700573; __utma=177678124.702716191.1587653477.1587653477.1587700573.2; __utmc=177678124; __utmb=177678124.44.10.1587700573; Hm_lpvt_ecd4feb5c351cc02583045a5813b5142=1587703641’,

‘Host’ : ‘www.xiachufang.com’,

‘Referer’ : kind.split(‘?’)[0]

}

response = requests.get(url,headers=headers)

if response.status_code == 200:

return response

else:

return

def get_infos(response):

‘’’

提取数据

‘’’

infos = []

html = etree.HTML(response.text)

menus = html.xpath(‘//ul[@class=“list”]/li’)[:20]

for menu in menus:

name = menu.xpath(‘./div/div/p[1]/a/text()’)[0].replace(‘\n’,‘’).replace(’ ‘,’')

food = menu.xpath(‘./div/div/p[@class=“ing ellipsis”]’)[0]

food = food.xpath(‘string(.)’).replace(‘\n’,‘’).replace(’ ‘,’')

score = menu.xpath(‘./div/div/p[3]/span[1]/text()’)[0]

link = menu.xpath(‘./div/div/p[1]/a/@href’)[0]

link = ‘http://www.xiachufang.com’ + link

infos.append([name,food,score,link])

return infos

def write_to_csv(infos,file):

‘’’

写入 csv

‘’’

with open(file,‘a+’,encoding=‘utf8’,newline=‘’) as f:

writer = csv.writer(f)

for info in infos:

writer.writerow(info)

if name == ‘main’:

count = 1

create_csv()

kind_urls = [‘http://www.xiachufang.com/category/40076/’,

‘http://www.xiachufang.com/category/40077/’,

‘http://www.xiachufang.com/category/40078/’,

‘http://www.xiachufang.com/category/20130/’]

for kind in kind_urls:

kind += ‘?page={}’

urls = [kind.format(str(i)) for i in range(1,12)]

for url in urls:

response = get_html(url,kind)

if response == None:

continue

infos = get_infos(response)

判断是否为【汤羹】url，写入对应的 csv

if ‘20130’ not in url:

file = ‘foods.csv’

else:

file = ‘soups.csv’

write_to_csv(infos,file)

print(‘已爬取 %d 页菜谱’ % count)

count += 1

ui_support.py

#! /usr/bin/env python

-- coding: utf-8 --

Support module generated by PAGE version 5.1

in conjunction with Tcl version 8.6

Apr 24, 2020 07:03:52 PM CST platform: Windows NT

import sys

try:

import Tkinter as tk

except ImportError:

import tkinter as tk

try:

import ttk

py3 = False

except ImportError:

import tkinter.ttk as ttk

py3 = True

def init(top, gui, *args, **kwargs):

global w, top_level, root

w = gui

top_level = top

root = top

def clean():

‘’’

此处为点击【清除】按钮后的逻辑

点击清除文本框以及词云

‘’’

w.Text1.delete(‘1.0’, ‘end’)

sys.stdout.flush()

def creat_menu():

‘’’

此处为点击【生成菜谱】按钮后的逻辑

从 csv 中随机抽取三菜一汤

显示在文本框

显示词云在标签栏

‘’’

import pandas as pd

import numpy as np

import wordcloud

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！