1.判断要爬取的页面是html结构还是json结构,就用检查
里找到的节点属性名,去源代码里面搜索。查看网页源代码,如果是有清楚html标签的则为html结构,如:
而如果是这样的,则为json,如:
html结合直接使用网页标题作为url,使用html = etree.HTML(res.text)
来整理页面结构;
而如果是json的话,则需要到「检查」-「NetWork」里面找到对应的加载页面,使用加载页面对应的链接作为url,然后使用json_data = json.loads(res.text)
整理页面结构。