美团西安美食部分爬虫（修改版）（python）

#美团美食
# -*- coding:UTF-8 -*-
import requests
import time
from bs4 import BeautifulSoup
import json
import csv
import random
with open(r'C:\Users\Hanju\Desktop\美团西安美食.csv',"w", newline='',encoding='UTF-8') as csvfile: （将爬取到的数据写入对应csv文件）
    writer = csv.writer(csvfile)
    writer.writerow(['网站名','品类','商家名称','地址']) （老板要求按照这个格式）
    target = 'http://xa.meituan.com/meishi/'
    head={}
    head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    req = requests.get(url=target,headers=head)
    html=req.text
    bf=BeautifulSoup(html,'lxml')
    tag=bf.find_all('script')[14]
    text=str(tag)[27:-10]
    data=json.loads(text)
    print(data)

运行结果如下，里面包含有我需要抓取的所有信息，包括菜系分类，区域id，还有本页的店家名称和地址，打印结果如下

{'$meta': {'knbJS': '//s0.meituan.net/bs/knb/v1.3.19/knb.js', 'adunionJS': '//h5.dianping.com/app/adu-track/adunion-track.js', 'uuid': '5282ca77-bfd1-484e-84bd-d8ae40a836a9', 'userId': '', 'cityId': 42, 'cityName': '西安', 'userName': '', 'pageId': 'c_zmptg', 'title': '【西安代金券】碑林区附近的代金券推荐_代金券攻略-西安美团网'}, 'pageId': 'c_zmptg', 'userId': '', 'title': '【西安代金券】碑林区附近的代金券推荐_代金券攻略-西安美团网', 'description': '美团西安+代金券，查找碑林区附近的代金券图片，特色代金券，代金券餐厅，查询菜单，人均价格，营业时间，优惠的最新信息。上万用户的代金券评价，推荐靠谱特色代金券店。', 'keyword': '西安+代金券，代金券图片，特色代金券，代金券餐厅。', 'prefer': [{'itemId': '165409369', 'title': '螺小胖柳州螺蛳粉（民乐园店）', 'imgUrl': 'https://img.meituan.net/w.h/msmerchant/fcb07f6715bcfc9c56ce1857b23a37a2480044.jpg', 'score': '4.0', 'consumeNum': None, 'areaName': '民乐园', 'lowPrice': '10.8', 'saleNum': None, 'commentNum': 61, 'detailUrl': '', 'firstCate': [1, 20426, 20557], 'avgPrice': 13}, {'itemId': '95496627', 'title': '探鱼（cityon熙地港店）', 'imgUrl': 'https://img.meituan.net/w.h/msmerchant/b37eb2f659448d38ef056445e616d95d7573178.png', 'score': '3.6', 'consumeNum': None, 'areaName': '未央路', 'lowPrice': '89.0', 'saleNum': None, 'commentNum': 2296, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 74}, {'itemId': '50457346', 'title': '杨翔豆皮涮牛肚（万和城购物中心店）', 'imgUrl': 'http://p1.meituan.net/w.h/mogu/72fe9106c88cc8b43fa1f814bbfb87ab266685.jpg', 'score': '5.0', 'consumeNum': None, 'areaName': '胡家庙', 'lowPrice': '89.0', 'saleNum': None, 'commentNum': 3249, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 52}, {'itemId': '165619156', 'title': '华莱士（含元殿店）', 'imgUrl': 'http://p1.meituan.net/w.h/deal/a4c622bcb1e562f1cb13ed06524e257f61750.jpg', 'score': '4.8', 'consumeNum': None, 'areaName': '胡家庙', 'lowPrice': '10.9', 'saleNum': None, 'commentNum': 46, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 17}, {'itemId': '157805163', 'title': '克拉拉（电子城店）', 'imgUrl': 'http://p1.meituan.net/w.h/mogu/05592244bd8cca1a65e17c4b52bd16d856231.jpg', 'score': '4.4', 'consumeNum': None, 'areaName': '电子城', 'lowPrice': '39.0', 'saleNum': None, 'commentNum': 542, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 79}, {'itemId': '91367806', 'title': '奥赛奥章鱼水煎肉（cityon熙地港店）', 'imgUrl': 'http://p0.meituan.net/w.h/mogu/01fa2e7e4b5c653eb74c2aad8f9701d382429.jpg', 'score': '4.5', 'consumeNum': None, 'areaName': '未央路', 'lowPrice': '78.0', 'saleNum': None, 'commentNum': 4093, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 52}, {'itemId': '158671609', 'title': '西安味道小炒泡馍（五路口店）', 'imgUrl': 'https://p1.meituan.net/w.h/deal/a2cab0f2b3f110bc5766618801b9f46988841.jpg', 'score': '4.2', 'consumeNum': None, 'areaName': '民乐园', 'lowPrice': '12.9', 'saleNum': None, 'commentNum': 484, 'detailUrl': '', 'firstCate': [1, 20426, 20557], 'avgPrice': 24}, {'itemId': '3313852', 'title': '韩味坊（长安中央广场店）', 'imgUrl': 'http://p1.meituan.net/w.h/deal/__25093590__4941376.jpg', 'score': '4.1', 'consumeNum': None, 'areaName': '长安广场', 'lowPrice': '46.8', 'saleNum': None, 'commentNum': 18603, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 48}, {'itemId': '4217424', 'title': '金迈源自助涮烤王', 'imgUrl': 'http://p0.meituan.net/w.h/mogu/6eb8d272aa41275a6f6a81b46f7927aa121969.jpg', 'score': '5.0', 'consumeNum': None, 'areaName': '立丰国际', 'lowPrice': '49.9', 'saleNum': None, 'commentNum': 8591, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 50}, {'itemId': '2369333', 'title': '锦唐印象（纺织城店）', 'imgUrl': 'http://p0.meituan.net/w.h/ugcpic/bd84d245817fb57dc1752ed5f5709d29', 'score': '5.0', 'consumeNum': None, 'areaName': '纺织城', 'lowPrice': '50.0', 'saleNum': None, 'commentNum': 13104, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 58}, {'itemId': '50434581', 'title': '北京亚辰涮烤（迎宾大道店）', 'imgUrl': 'http://p0.meituan.net/w.h/apiback/7e38ddf7606df463c47c16f8dc8003c7112810.jpg', 'score': '3.2', 'consumeNum': None, 'areaName': '未央路', 'lowPrice': '42.0', 'saleNum': None, 'commentNum': 10220, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 48}, {'itemId': '159138154', 'title': '五叔家串串老火锅（长安万科店）', 'imgUrl': 'https://img.meituan.net/w.h/msmerchant/5634095d8956644a9470d077feb000d171394.jpg', 'score': '3.6', 'consumeNum': None, 'areaName': '南大学城', 'lowPrice': '49.9', 'saleNum': None, 'commentNum': 854, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 51}, {'itemId': '4071209', 'title': '火焰山自助美食汇（盛龙广场店）', 'imgUrl': 'http://p0.meituan.net/w.h/mogu/5f6656230816105e9e3dc1c8f283799c24504.jpg', 'score': '3.4', 'consumeNum': None, 'areaName': '未央路', 'lowPrice': '50.0', 'saleNum': None, 'commentNum': 10843, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 54}, {'itemId': '104632747', 'title': '清水湾·乐汤汇', 'imgUrl': 'https://p1.meituan.net/w.h/merchantpic/51cb019ae234d7ac65594569edd6acac5371528.jpg', 'score': '4.6', 'consumeNum': None, 'areaName': '明光路', 'lowPrice': '78.0', 'saleNum': None, 'commentNum': 7286, 'detailUrl': '', 'firstCate': [2, 20611, 20426], 'avgPrice': 160}, {'itemId': '159623451', 'title': '爱辣屋咕噜鱼（南稍门中贸店）', 'imgUrl': 'https://img.meituan.net/w.h/msmerchant/23467263530292fce468a7302fc9b65558452.jpg', 'score': '4.6', 'consumeNum': None, 'areaName': '南稍门', 'lowPrice': '28.0', 'saleNum': None, 'commentNum': 4848, 'detailUrl': '', 'firstCate': [1, 20632, 20426, 20557], 'avgPrice': 30}], 'ci': 42, 'cityName': '西安', 'lat': '', 'lng': '', 'uuid': '5282ca77-bfd1-484e-84bd-d8ae40a836a9', 'crumbNav': [{'title': '西安美团', 'url': 'http://xa.meituan.com/'}, {'title': '西安美食', 'url': 'http://xa.meituan.com/meishi/'}, {'title': '西安代金券', 'url': 'http://xa.meituan.com/meishi/c393/'}, {'title': '西安碑林区代金券', 'url': 'http://xa.meituan.com/meishi/c393b113/'}], 'filters': {'cates': [{'id': 393, 'name': '代金券', 'url': 'http://xa.meituan.com/meishi/c393b113/'}, {'id': 11, 'name': '蛋糕甜点', 'url': 'http://xa.meituan.com/meishi/c11b113/'}, {'id': 17, 'name': '火锅', 'url': 'http://xa.meituan.com/meishi/c17b113/'}, {'id': 40, 'name': '自助餐', 'url': 'http://xa.meituan.com/meishi/c40b113/'}, {'id': 36, 'name': '小吃快餐', 'url': 'http://xa.meituan.com/meishi/c36b113/'}, {'id': 28, 'name': '日韩料理', 'url': 'http://xa.meituan.com/meishi/c28b113/'}, {'id': 35, 'name': '西餐', 'url': 'http://xa.meituan.com/meishi/c35b113/'}, {'id': 395, 'name': '聚餐宴请', 'url': 'http://xa.meituan.com/meishi/c395b113/'}, {'id': 54, 'name': '烧烤烤肉', 'url': 'http://xa.meituan.com/meishi/c54b113/'}, {'id': 20003, 'name': '东北菜', 'url': 'http://xa.meituan.com/meishi/c20003b113/'}, {'id': 55, 'name': '川湘菜', 'url': 'http://xa.meituan.com/meishi/c55b113/'}, {'id': 56, 'name': '江浙菜', 'url': 'http://xa.meituan.com/meishi/c56b113/'}, {'id': 20004, 'name': '香锅烤鱼', 'url': 'http://xa.meituan.com/meishi/c20004b113/'}, {'id': 57, 'name': '粤菜', 'url': 'http://xa.meituan.com/meishi/c57b113/'}, {'id': 400, 'name': '中式烧烤/烤串', 'url': 'http://xa.meituan.com/meishi/c400b113/'}, {'id': 58, 'name': '西北菜', 'url': 'http://xa.meituan.com/meishi/c58b113/'}, {'id': 41, 'name': '咖啡酒吧', 'url': 'http://xa.meituan.com/meishi/c41b113/'}, {'id': 59, 'name': '京菜鲁菜', 'url': 'http://xa.meituan.com/meishi/c59b113/'}, {'id': 60, 'name': '云贵菜', 'url': 'http://xa.meituan.com/meishi/c60b113/'}, {'id': 62, 'name': '东南亚菜', 'url': 'http://xa.meituan.com/meishi/c62b113/'}, {'id': 63, 'name': '海鲜', 'url': 'http://xa.meituan.com/meishi/c63b113/'}, {'id': 217, 'name': '素食', 'url': 'http://xa.meituan.com/meishi/c217b113/'}, {'id': 227, 'name': '台湾/客家菜', 'url': 'http://xa.meituan.com/meishi/c227b113/'}, {'id': 228, 'name': '创意菜', 'url': 'http://xa.meituan.com/meishi/c228b113/'}, {'id': 229, 'name': '汤/粥/炖菜', 'url': 'http://xa.meituan.com/meishi/c229b113/'}, {'id': 232, 'name': '蒙餐', 'url': 'http://xa.meituan.com/meishi/c232b113/'}, {'id': 233, 'name': '新疆菜', 'url': 'http://xa.meituan.com/meishi/c233b113/'}, {'id': 24, 'name': '其他美食', 'url': 'http://xa.meituan.com/meishi/c24b113/'}], 'areas': [{'id': 113, 'name': '碑林区', 'url': 'http://xa.meituan.com/meishi/c393b113/', 'subAreas': [{'id': 113, 'name': '全部', 'url': 'http://xa.meituan.com/meishi/c393b113/'}, {'id': 6835, 'name': '东大街', 'url': 'http://xa.meituan.com/meishi/c393b6835/'}, {'id': 7137, 'name': '南大街', 'url': 'http://xa.meituan.com/meishi/c393b7137/'}, {'id': 900, 'name': '小雁塔', 'url': 'http://xa.meituan.com/meishi/c393b900/'}, {'id': 8976, 'name': '含光路', 'url': 'http://xa.meituan.com/meishi/c393b8976/'}, {'id': 897, 'name': '钟楼/鼓楼', 'url': 'http://xa.meituan.com/meishi/c393b897/'}, {'id': 898, 'name': '西北大/西工大', 'url': 'http://xa.meituan.com/meishi/c393b898/'}, {'id': 899, 'name': '和平门/建国门', 'url': 'http://xa.meituan.com/meishi/c393b899/'}, {'id': 908, 'name': '交大/理工大', 'url': 'http://xa.meituan.com/meishi/c393b908/'}, {'id': 7402, 'name': '南稍门', 'url': 'http://xa.meituan.com/meishi/c393b7402/'}, {'id': 7404, 'name': '东关正街', 'url': 'http://xa.meituan.com/meishi/c393b7404/'}, {'id': 8974, 'name': '立丰国际', 'url': 'http://xa.meituan.com/meishi/c393b8974/'}, {'id': 8975, 'name': '太乙路', 'url': 'http://xa.meituan.com/meishi/c393b8975/'}, {'id': 9012, 'name': '长安立交', 'url': 'http://xa.meituan.com/meishi/c393b9012/'}, {'id': 15634, 'name': '怡丰城/西荷花园', 'url': 'http://xa.meituan.com/meishi/c393b15634/'}, {'id': 15639, 'name': '互助路立交', 'url': 'http://xa.meituan.com/meishi/c393b15639/'}, {'id': 15642, 'name': '李家村', 'url': 'http://xa.meituan.com/meishi/c393b15642/'}, {'id': 15643, 'name': '朱雀大街北段', 'url': 'http://xa.meituan.com/meishi/c393b15643/'}, {'id': 15664, 'name': '文艺路', 'url': 'http://xa.meituan.com/meishi/c393b15664/'}, {'id': 15667, 'name': '黄雁村', 'url': 'http://xa.meituan.com/meishi/c393b15667/'}, {'id': 15784, 'name': '劳动南路', 'url': 'http://xa.meituan.com/meishi/c393b15784/'}, {'id': 15785, 'name': '广济街', 'url': 'http://xa.meituan.com/meishi/c393b15785/'}]}, {'id': 116, 'name': '雁塔区', 'url': 'http://xa.meituan.com/meishi/c393b116/', 'subAreas': [{'id': 116, 'name': '全部', 'url': 'http://xa.meituan.com/meishi/c393b116/'}, {'id': 907, 'name': '小寨', 'url': 'http://xa.meituan.com/meishi/c393b907/'}, {'id': 910, 'name': '高新路', 'url': 'http://xa.meituan.com/meishi/c393b910/'}, {'id': 1099, 'name': '电子城', 'url': 'http://xa.meituan.com/meishi/c393b1099/'}, {'id': 4763, 'name': '曲江新区', 'url': 'http://xa.meituan.com/meishi/c393b4763/'}, {'id': 6836, 'name': '大雁塔', 'url': 'http://xa.meituan.com/meishi/c393b6836/'}, {'id': 7403, 'name': '朱雀大街南段', 'url': 'http://xa.meituan.com/meishi/c393b7403/'}, {'id': 8977, 'name': '南二环西段', 'url': 'http://xa.meituan.com/meishi/c393b8977/'}, {'id': 8978, 'name': '南二环东段', 'url': 'http://xa.meituan.com/meishi/c393b8978/'}, {'id': 8979, 'name': '明德门', 'url': 'http://xa.meituan.com/meishi/c393b8979/'}, {'id': 8984, 'name': '雁翔路', 'url': 'http://xa.meituan.com/meishi/c393b8984/'}, {'id': 1