通过安装fiddler,并设置手机和笔记本电脑在一个wifi下
然后用手机通过下载电脑端生成的密钥cer文件
然后测试美团时,发现美团网站中套餐榜、商家榜无法显示
然后通过刷新,掌握了美团榜单的地址
为
现在能分析到的是,ci代表城市,比如ci 1 代表北京 ci90代表青岛 ci96 代表济南
其他代表只附在最后:
通过chrome F12分析发现
想要的数据提取地址为
其中某页的参数如下:
- {totalSize: 50,…}
- totalSize: 50
- saleBoardPoiList: [{id: 195927909, name: "黑牛の店(万象城店)", weekSaleCount: "周销量 672", score: 50, avgPrice: 169,…},…]
- 0: {id: 195927909, name: "黑牛の店(万象城店)", weekSaleCount: "周销量 672", score: 50, avgPrice: 169,…}
- 1: {id: 159264805, name: "牛排王自助餐厅(恒隆广场店)", weekSaleCount: "周销量 651", score: 48, avgPrice: 66,…}
- 2: {id: 42130753, name: "辛明堂洞芝士年糕火锅(世茂店)", weekSaleCount: "周销量 599", score: 50, avgPrice: 8,…}
- 3: {id: 195214745, name: "汉堡王(首创奥特莱斯店)", weekSaleCount: "周销量 597", score: 50, avgPrice: 33,…}
- 4: {id: 714753507, name: "我家牛排自助餐厅(印象济南店)", weekSaleCount: "周销量 593", score: 40, avgPrice: 69,…}
- 5: {id: 1563481768, name: "一緒に寿喜烧自助(世茂店)", weekSaleCount: "周销量 592", score: 50, avgPrice: 152,…}
- 6: {id: 195931290, name: "熊吞·大碗丼日式烧肉饭(和谐广场店)", weekSaleCount: "周销量 585", score: 48, avgPrice: 35,…}
- 7: {id: 1600069232, name: "大匠寿喜锅和牛放题(恒隆广场店)", weekSaleCount: "周销量 559", score: 50, avgPrice: 169,…}
- 8: {id: 1510793565, name: "JOYBOX盒里(和谐店)", weekSaleCount: "周销量 558", score: 46, avgPrice: 50,…}
- 9: {id: 1712526243, name: "一緒に寿喜烧自助(印象城店)", weekSaleCount: "周销量 466", score: 49, avgPrice: 164,…}
- 10: {id: 185646670, name: "缘家炭烤 韩国烤肉料理(高新万达店)", weekSaleCount: "周销量 438", score: 50, avgPrice: 66,…}
- 11: {id: 191785932, name: "兀岛烤肉丼饭(长清店)", weekSaleCount: "周销量 428", score: 50, avgPrice: 24,…}
- 12: {id: 1463444553, name: "C'è AMORE 爱意(万象城店)", weekSaleCount: "周销量 407", score: 50, avgPrice: 113,…}
- 13: {id: 1047652778, name: "烧肉一代目", weekSaleCount: "周销量 397", score: 44, avgPrice: 96, cateName: "日式烧烤/烤肉",…}
- 14: {id: 194581681, name: "本吉雅东南亚餐厅(悦立方π星球店)", weekSaleCount: "周销量 384", score: 46, avgPrice: 99,…}
- boardDigest: null
后续的方法就很简单了,item for循环取数就好,详见往期链家网数据爬取
最后友情提示
数据更新时间为每周1上午10时,参想美团后台服务器压力也不清,销售成本等原因,也需要平台减少后台计算量,方法就是周一更新上周的数据,然后想测算一个月的数据,只需要看日历,然后每月爬取3-4次。
That's all thank u ,expect next see u @.v.@
##############################################前面带零的在使用时请省去
0001 北京
0010 上海
0020 广州
0030 深圳
0040 天津
0042 西安
0044 福州
0045 重庆
0050 杭州
0051 宁波
0052 无锡
0055 南京
0056 合肥
0057 武汉
0059 成都
0060 青岛
0062 厦门
0065 大连
0066 沈阳
0070 长沙
0073 郑州
0076 石家庄
0080 苏州
0081 淄博
0082 南通
0083 南昌
0084 保定
0088 蚌埠
0089 常州
0090 大庆
0091 东莞
0092 佛山
0093 桂林
0094 海口
0095 葫芦岛
0096 济南
0097 焦作
0098 锦州
0099 南宁
0101 太原
0102 芜湖
0103 新乡
0104 烟台
0105 哈尔滨
0106 廊坊
0107 贵阳
0108 珠海
0109 齐齐哈尔
0110 泉州
0111 三亚
0112 温州
0113 中山
0114 昆明
0115 九江
0116 长春
0117 汕头
0118 香港
0119 徐州
0120 扬州
0121 唐山
0122 秦皇岛
0123 邯郸
0124 邢台
0125 张家口
0126 承德
0127 沧州
0128 衡水
0129 大同
0130 阳泉
0131 长治
0132 晋城
0133 朔州
0134 晋中
0135 运城
0136 忻州
0137 临汾
0138 吕梁
0139 呼和浩特
0140 包头
0141 乌海
0142 赤峰
0143 通辽
0144 鄂尔多斯
0145 呼伦贝尔
0146 巴彦淖尔
0147 乌兰察布
0148 兴安盟
0149 锡林郭勒
0150 阿拉善盟
0151 鞍山
0152 抚顺
0153 本溪
0154 丹东
0155 营口
0156 阜新
0157 辽阳
0158 盘锦
0159 铁岭
0160 朝阳
0161 吉林
0162 四平
0163 辽源
0164 通化
0165 白山
0166 松原
0167 白城
0168 延边
0169 鸡西
0170 鹤岗
0171 双鸭山
0172 伊春
0173 佳木斯
0174 七台河
0175 牡丹江
0176 黑河
0177 绥化
0178 大兴安岭
0179 连云港
0180 淮安
0181 盐城
0182 镇江
0183 泰州
0184 宿迁
0185 嘉兴
0186 湖州
0187 绍兴
0188 金华
0189 衢州
0190 舟山
0191 台州
0192 丽水
0193 淮南
0194 马鞍山
0195 淮北
0196 铜陵
0197 安庆
0198 黄山
0199 滁州
0200 阜阳
0201 宿州
0202 巢湖
0203 六安
0204 亳州
0205 池州
0206 宣城
0207 莆田
0208 三明
0209 漳州
0210 南平
0211 龙岩
0212 宁德
0213 景德镇
0214 萍乡
0215 新余
0216 鹰潭
0217 赣州
0218 吉安
0219 宜春
0220 抚州
0221 上饶
0222 枣庄
0223 东营
0224 潍坊
0225 济宁
0226 泰安
0227 威海
0228 日照
0229 莱芜
0230 临沂
0231 德州
0232 聊城
0233 滨州
0234 菏泽
0235 开封
0236 洛阳
0237 平顶山
0238 安阳
0239 鹤壁
0240 濮阳
0241 许昌
0242 漯河
0243 三门峡
0244 南阳
0245 商丘
0246 信阳
0247 周口
0248 驻马店
0249 济源
0250 黄石
0251 十堰
0252 宜昌
0253 襄阳
0254 鄂州
0255 荆门
0256 孝感
0257 荆州
0258 黄冈
0259 咸宁
0260 随州
0261 恩施
0262 三峡
0263 株洲
0264 湘潭
0265 衡阳
0266 邵阳
0267 岳阳
0268 常德
0269 张家界
0270 益阳
0271 郴州
0272 永州
0273 怀化
0274 娄底
0275 湘西
0276 韶关
0277 江门
0278 湛江
0279 茂名
0280 肇庆
0281 惠州
0282 梅州
0283 汕尾
0284 河源
0285 阳江
0286 清远
0287 潮州
0288 揭阳
0289 云浮
0290 柳州
0291 梧州
0292 北海
0293 防城港
0294 钦州
0295 贵港
0296 玉林
0297 百色
0298 贺州
0299 河池
0300 来宾
0301 崇左
0302 自贡
0303 攀枝花
0304 泸州
0305 德阳
0306 绵阳
0307 广元
0308 遂宁
0309 内江
0310 乐山
0311 南充
0312 眉山
0313 宜宾
0314 广安
0315 达州
0316 雅安
0317 巴中
0318 资阳
0319 阿坝
0320 甘孜
0321 凉山
0322 六盘水
0323 遵义
0324 安顺
0325 铜仁
0326 黔西南
0327 毕节
0328 黔东南
0329 黔南
0330 曲靖
0331 玉溪
0332 保山
0333 昭通
0334 丽江
0335 普洱
0336 临沧
0337 楚雄
0338 红河
0339 文山
0340 西双版纳
0341 大理
0342 德宏
0343 怒江
0344 迪庆
0345 拉萨
0346 昌都
0347 山南
0348 日喀则
0349 那曲
0350 阿里
0351 林芝
0352 铜川
0353 宝鸡
0354 咸阳
0355 渭南
0356 延安
0357 汉中
0358 榆林
0359 安康
0360 商洛
0361 兰州
0362 金昌
0363 白银
0364 天水
0365 武威
0366 张掖
0367 平凉
0368 酒泉
0369 庆阳
0370 定西
0371 陇南
0372 临夏
0373 甘南
0374 西宁
0375 海东
0376 海北
0377 黄南
0378 海南州
0379 果洛
0380 玉树
0381 海西
0382 银川
0383 石嘴山
0384 吴忠
0385 固原
0386 中卫
0387 乌鲁木齐
0388 克拉玛依
0389 吐鲁番
0390 哈密
0391 昌吉
0392 博尔塔拉
0393 巴州
0394 阿克苏
0395 克州
0396 喀什地区
0397 和田
0398 伊犁
0399 塔城
0400 阿勒泰
0401 台北
0402 澳门
0403 昆山
0404 江阴
0405 义乌
0406 顺德
0408 石河子
0409 嘉峪关
0412 仙桃
0416 富阳
0417 峨眉山
0418 琼海
0419 张家港
0420 晋江市
0421 从化
0422 常熟
0424 海宁
0425 桐乡
0426 涿州
0427 涪陵
0428 万州
0430 迁安
0431 丹阳
0432 太仓
0433 吴江
0434 敦煌
0439 靖江
0440 石狮
0443 武夷山
0449 武安
0450 溧阳
0451 慈溪
0452 长兴
0453 兖州
0454 宜兴
0455 东阳
0456 上虞
0457 温岭
0458 永康
0459 余姚
0460 金坛
0461 临海
0462 福清
0463 长乐
0465 章丘区
0466 阳朔
0467 德清
0468 诸暨
0469 瑞安
0470 乐清
0471 惠东
0472 惠阳
0473 凯里
0475 仁怀
0476 兰溪
0477 大丰
0478 东台
0479 婺源
0480 凤凰
0482 腾冲
0483 九寨沟
0484 香格里拉
0485 井冈山
0486 武当山
0487 神农架
0488 三清山
0489 嘉善
0490 安吉
0491 当阳
0492 龙口
0493 邳州
0494 枣阳
0495 寿光
0496 青州
0497 荣成
0498 文登
0499 乳山
0500 启东
0501 如皋
0502 开平
0503 台山
0504 鹤山
0505 桦甸
0506 海城
0508 邹平
0509 耒阳
0510 江山
0512 宁海
0513 乐昌
0514 英德
0515 句容
0516 伊川
0517 兴化
0518 泰兴
0519 海门
0520 宁乡
0521 高邮
0522 仪征
0523 新泰
0524 平湖
0525 湘阴
0526 诸城
0527 昌邑
0528 偃师
0529 莱州
0530 嵊州
0531 沭阳
0532 射阳
0533 滨海
0534 响水
0535 阜宁
0536 建湖
0537 临清
0538 三河
0539 东港
0540 奉化
0541 广饶
0542 临安
0543 辛集
0544 晋州
0545 肥城
0546 普宁
0547 南沙
0548 新沂
0549 滕州
0550 潜江
0551 乌镇
0552 登封
0553 巩义
0554 桐庐
0555 新郑
0556 新密
0557 荥阳
0558 庄河
0559 扬中
0560 西塘
0561 莱阳
0562 兴宁
0563 漠河
0564 华阴
0566 密山
0567 陆丰
0568 额尔古纳
0569 韶山
0570 桂平
0571 儋州
0572 满洲里
0573 海阳
0574 新民
0575 霸州
0576 都江堰
0577 永城
0578 天门
0579 侯马
0580 项城
0581 公主岭
0582 平度
0583 胶州
0584 梅河口
0585 彭州
0586 招远
0587 蓬莱
0588 安丘
0589 高密
0590 汨罗
0591 遵化
0592 吴川
0593 广汉
0594 建德
0595 藁城
0596 灵宝
0597 永济
0598 河津
0599 大石桥
0600 大冶
0601 高平
0602 宝应
0603 库尔勒
0604 孝义
0605 简阳
0606 冷水江
0607 文昌
0608 禹城
0609 禹州
0610 明光
0611 乐陵
0612 钟祥
0613 沙河
0614 湘乡
0615 周庄
0616 汝州
0617 浏阳
0618 龙海
0619 醴陵
0620 莱西
0621 南安
0622 伊宁
0623 海安
0624 苍南
0625 宜城
0626 天长
0627 长葛
0628 廉江
0629 高碑店
0630 个旧
0631 高州
0632 乐平
0633 四会
0634 阆中
0635 东兴
0636 介休
0637 原平
0638 盖州
0639 瑞金
0641 兴城
0642 调兵山
0643 奎屯
0644 沁阳
0645 霍州
0646 崇州
0647 邛崃
0648 松滋
0650 黄骅
0651 灯塔
0652 鹿泉
0653 赤壁
0654 枝江
0655 利川
0656 宜都
0657 瑞昌
0658 沅江
0659 老河口
0660 淳安
0661 兴平
0662 邓州
0663 漳浦
0664 即墨
0665 凤城
0666 洮南
0667 武穴
0668 麻城
0669 舒兰
0670 凌海
0671 樟树
0672 化州
0673 桐城
0674 滦南
0675 灵山
0677 汾阳
0678 集安
0679 大通
0680 万宁
0681 北流
0682 讷河
0683 连州
0684 舞钢
0685 海林
0686 东方
0687 南雄
0688 陵水
0689 阜康
0690 临江
0691 古交
0692 象山
0693 玉环市
0694 孟州
0695 修武
0696 温县
0697 武陟
0698 博爱
0699 安岳
0700 承德县
0701 鄱阳
0702 格尔木
0704 新北
0705 台中
0706 台南
0707 高雄
0708 台东
0709 宜兰
0710 花莲
0711 南投
0712 恒春
0713 苗栗
0714 桃园
0715 基隆
0717 新竹市
0719 嘉义市
0721 彰化
0722 澎湖
0724 连江
0725 蛟河
0726 海盐
0727 齐河
0728 夏津
0729 信宜
0730 浦江
0731 北碚
0732 合川
0733 永川
0734 新化
0735 丰城
0736 邵东
0737 昌乐
0738 东平
0739 临朐
0740 清丰
0741 南乐
0742 范县
0743 台前
0744 乐亭
0745 滦县
0746 曹妃甸
0747 乌苏
0748 开州区
0749 仁寿
0750 电白
0751 灌云
0752 灌南
0753 赣榆
0754 东海
0755 睢县
0756 建阳
0757 正定
0758 淮阳
0759 太和
0760 泗阳
0761 磐石
0762 沙湾
0763 永年
0764 仙居
0765 定州
0766 栾城
0767 磁县
0768 涉县
0769 无为
0770 阳城
0771 高安
0772 汉阴
0773 芜湖县
0774 繁昌
0775 南陵
0776 襄垣
0777 平原
0778 云阳
0779 宁阳
0780 广德
0781 宁国
0782 天台
0783 宝丰
0784 叶县
0785 郏县
0786 鲁山
0787 共青城
0788 金堂
0789 灵石
0790 太谷
0791 临漳
0792 肥乡区
0793 含山
0794 和县
0795 长垣
0796 神木市
0797 绥中
0798 成安
0799 户县
0800 辉县
0801 昌黎
0802 宣威
0803 易县
0804 上高
0805 平潭
0806 怀仁
0807 安平
0808 临潼
0809 蓝田
0810 霞浦
0811 岑溪
0812 藤县
0813 宁晋
0814 宜阳
0815 林州
0816 滑县
0817 汤阴
0818 新安
0819 石泉
0820 宁津
0821 中牟
0822 阎良
0823 隆昌市
0824 泗洪
0825 惠安
0826 卫辉
0827 封丘
0828 新乡县
0829 原阳
0830 单县
0831 监利
0832 韩城
0833 沛县
0834 邹城
0835 郸城
0836 大荔
0837 蒲城
0838 孟津
0839 鹿邑
0840 沈丘
0841 赵县
0842 盘州市
0843 盱眙
0844 安溪
0845 三门
0846 牟平
0847 平江
0848 眉县
0849 濮阳县
0850 乌拉特前旗
0851 横店
0852 博兴
0853 徐闻
0854 高阳
0856 华亭
0857 夏邑
0858 柘城
0859 虞城
0860 民权
0861 扶风
0862 丰县
0863 浚县
0864 淇县
0865 全椒
0866 高陵
0867 洪洞
0868 柳河
0869 抚松
0870 西乡
0871 江津
0872 渑池
0873 安宁
0874 达拉特旗
0875 睢宁
0876 玉山
0877 茌平
0878 阳谷
0879 土默特右旗
0880 垦利
0881 河口
0882 巨野
0883 曹县
0884 郓城
0885 西平
0886 上蔡
0887 泌阳
0888 富顺
0889 临猗
0891 准格尔旗
0892 新乐
0893 平山
0894 辉南
0895 遂昌
0896 梁山
0897 微山
0898 汶上
0899 嘉祥
0900 金乡
0901 伊金霍洛旗
0902 利津
0903 新昌
0904 武城
0905 临邑
0906 绵竹
0907 石岛
0908 杨凌
0909 城固
0910 大竹
0911 公安
0912 龙泉
0913 缙云
0914 栖霞
0915 彬县
0916 费县
0917 任丘
0918 京山
0919 陵川
0920 薛城
0921 佛冈
0922 青田
0923 平泉市
0924 丰宁
0925 宽城
0926 围场
0927 江油
0928 洪湖
0929 清河
0930 隆尧
0931 内丘
0932 南宫
0933 鼓浪屿
0934 雷州
0935 栾川
0936 西华
0937 扶沟
0938 龙游
0939 兰陵
0940 沂水
0941 莒南
0942 郯城
0943 沂南
0944 蒙阴
0945 大洼
0946 璧山
0947 铜梁
0948 江都
0949 浠水
0950 平邑
0951 临沭
0952 博山
0953 什邡
0954 长汀
0955 上杭
0956 金湖
0957 香河
0958 于都
0959 信丰
0960 平舆
0961 新蔡
0962 同安
0963 集美
0964 海沧
0965 嵩县
0966 汝阳
0967 瓦房店
0970 潮安
0971 大邑
0972 平阳
0973 武义
0974 砀山
0975 霍邱
0976 涟水
0977 珲春
0978 敦化
0979 内黄
0980 凤台
0981 长寿
0982 舒城
0984 库车
0985 周至
0987 平遥
0988 如东
0989 恩平
0990 开化
0991 平果
0992 射洪
0993 常山
0994 宾阳
0995 武鸣
0996 溆浦
0997 芷江
0998 庆云
0999 东光
1001 金沙
1002 开阳
1003 泾县
1004 潜山
1005 怀宁
1006 威宁
1007 织金
1008 安化
1009 桃源
1010 澧县
1011 辽中
1012 任县
1013 南和
1014 舞阳
1015 商河
1016 阿拉尔
1017 泗水
1018 赤水
1019 无极
1020 青县
1021 淅川
1022 社旗
1023 万荣
1024 泗县
1025 万载
1026 新干
1027 宜丰
1028 吉安县
1029 吉水县
1030 泰和县
1031 奉新
1032 江川县
1033 兴国县
1034 罗平县
1035 道县
1036 新田
1037 涟源市
1038 江华瑶族自治县
1039 深州市
1040 庐江县
1041 铜鼓
1042 怀远县
1043 营山县
1044 田东县
1045 上林县
1046 威县
1047 永安
1048 漳平
1049 武平县
1050 寻乌县
1051 祥云县
1052 方城
1053 南部县
1054 太康县
1055 商水县
1056 临颍
1057 襄城县
1058 鄢陵
1059 晋宁区
1060 蓝山
1061 江永
1062 双峰
1063 新宁
1064 隆回
1065 会泽县
1066 富源县
1067 遂川
1068 安福
1069 永丰
1070 分宜
1071 上栗
1072 永新
1073 芦溪
1074 泊头市
1075 南皮县
1076 大安市
1077 莎车县
1078 慈利
1079 卢氏县
1080 河间市
1081 肃宁县
1082 献县
1083 隆化县
1084 扶绥县
1085 建水县
1086 合浦县
1087 洛宁
1088 衡阳县
1089 祁东县
1090 衡山县
1091 衡东县
1092 常宁市
1093 资兴市
1094 永兴县
1095 汝城县
1096 攸县
1097 茶陵
1098 博罗县
1099 永顺县
1100 长丰县
1101 容县
1102 博白县
1103 潢川县
1104 固始县
1105 贺兰县
1106 平罗县
1107 庆安县
1108 商城县
1109 尉氏县
1110 兰考县
1111 通许县
1112 宁陵
1113 桑植
1114 荣昌区
1115 杞县
1116 蒙自市
1117 裕民县
1118 石门
1119 临澧
1120 鄯善县
1121 利辛
1122 蒙城
1123 新洲区
1124 汉南区
1125 南郑区
1126 阿勒泰市
1127 酉阳土家族苗族自治县
1128 武隆县
1129 秀山土家族苗族自治县
1130 海伦市
1131 青冈县
1132 通海县
1133 灵丘县
1134 鄄城县
1135 通榆县
1136 唐河
1137 新野
1138 禄丰县
1139 岐山县
1140 扎兰屯市
1141 北镇市
1142 肥西县
1143 溧水区
1144 泸县
1145 合江县
1146 靖边
1147 洛川县
1148 繁峙县
1149 仙游县
1150 苍溪县
1151 应县
1152 凤翔县
1153 嘉鱼县
1154 同心县
1155 绥德县
1156 平阴县
1157 长清区
1158 沙县
1159 阳山县
1160 榆树市
1161 宁蒗彝族自治县
1162 沅陵县
1163 罗定市
1164 崇明区
1165 北安市
1166 嫩江县
1167 新津县
1168 定安县
1169 永登县
1170 琼中
1171 乐东
1172 额敏县
1173 塔城市
1174 光泽
1175 平陆县
1176 深泽县
1177 垫江
1178 梁平
1179 忠县
1180 石柱
1181 鱼台县
1182 宜州区
1183 临高县
1184 罗源县
1185 环县
1186 义马市
1187 五常市
1188 祁县
1189 邵武
1190 阿图什市
1191 台湾
1192 寿县
1193 巴彦县
1194 精河县
1195 福安
1196 柘荣
1197 靖西市
1198 永嘉县
1199 盂县
1200 中江县
1201 成武县
1202 福鼎市
1203 东明县
1204 定陶区
1205 澄江县
1206 黄陵县
1207 旺苍县
1208 定边县
1209 府谷县
1210 勐腊县
1211 三台县
1212 安州区
1213 旬阳县
1214 平昌县
1215 通江县
1216 米易县
1217 望奎县
1218 宜良县
1219 闽侯县
1220 青阳县
1221 桦川县
1222 明水县
1223 武冈市
1224 宁远县
1225 陆川县
1226 平南县
1227 康县
1228 山丹县
1229 阿荣旗
1230 奉节
1231 丰都
1232 彭水苗族土家族自治县
1233 大厂回族自治县
1234 横山区
1235 通河县
1236 陕州区
1237 巴楚县
1238 垦丁
1239 光山县
1240 绥宁县
1241 肥东县
1242 定远县
1243 大悟县
1244 孝昌县
1245 安陆市
1246 镇雄县
1247 临泉县
1248 息县
1249 双城
1250 遂平
1251 沙雅
1252 景谷
1253 富民
1254 禄劝彝族苗族自治县
1255 武定
1256 屯昌县
1257 拜城县
1258 普兰店
1259 中宁县
1260 清镇
1261 萧县
1262 瑞丽
1263 九台
1264 南川
1265 綦江
1266 清徐
1267 迁西县
1268 大足区
1269 澄迈县
1270 嵩明县
1271 德惠市
1272 石林彝族自治县
1273 玉田县
1274 固安县
1275 东坑镇
1276 企石镇
1277 谢岗镇
1278 拜泉县
1279 景东彝族自治县
1280 阿城区
1281 灵武市
1282 永宁县
8000 冥王星
8001 华容