爬虫时有些网站没有api接口,需要转换成json格式,这期教程来分享一下,如何获取网页headers和一些参数。只要你有Chrome。
第一步
来到你想爬取的网页,右键选择检查,选择network,如果进去后没有那刷新一下。
刷新好后,里面会有一个.json结尾的文件,单击他。你就可以看到,网页的json网址。
获取User-Agent就往下翻,翻到这。
总之,携带的参数都在这个json文件里。
一起学习,一起进步!
爬虫时有些网站没有api接口,需要转换成json格式,这期教程来分享一下,如何获取网页headers和一些参数。只要你有Chrome。
来到你想爬取的网页,右键选择检查,选择network,如果进去后没有那刷新一下。
刷新好后,里面会有一个.json结尾的文件,单击他。你就可以看到,网页的json网址。
获取User-Agent就往下翻,翻到这。
总之,携带的参数都在这个json文件里。
一起学习,一起进步!