获取猫眼电影所有城市信息2

获取猫眼电影所有城市信息2

感谢 https://blog.csdn.net/weixin_39416561 这位老哥的点拨，让我学会新方法来获取隐藏在js里的信息，学习学习。
https://blog.csdn.net/qq_42776455/article/details/86489275 这篇是我自己用selenium暴力入手的，虽然简单。其实是一个比较笨的方法，可以参考下这个：https://ask.csdn.net/questions/725362

分析最重要

当触发的时候看源代码的变化，已经抓包分析，排除Ajax，那很可能是在js里的。

触发下拉列表，使源代码加载完全。如下图：下拉列表的信息在源代码里找到。

提取下拉列表的关键词，类名：js-city-name，在控制台搜索。

定位到 https://s0.meituan.net/bs/?f=myfe/mywww:/common.98f4f69f.js 是由这个js代码传来的。保存本地或者在控制台分析这个js。

找到关键代码：localStorage.getItem(“cities”)

在控制台测试：

或者用selenium执行这个函数：

from selenium import webdriver
from lxml import etree
driver = webdriver.PhantomJS()
driver.get('https://maoyan.com/')
city_list = driver.execute_script('return localStorage.getItem("cities")')
print(city_list)

# driver.execute_script('localStorage.getItem("cities")')
# html = driver.page_source
# xpath_parser = etree.HTML(html)
# city_list = xpath_parser.xpath('//div[@class="city-list"]//a[@class="js-city-name"]/text()')

获取到的是json类型的字符串，再用json模块转化之后调用会方便点。

import json
city_json = json.loads(city_list)