当我们按照静态网页扣取数据的时候,会出现部分网页中的加载数据,会显示数据正在加载。。
①这个时候我们可以通过抓包工具,通过抓包工具,在网页跳转的时候会捕获到动态加载数据的地址(记得关闭其他不相关的软件和网页)
②进入到网页后会获取很多的地址地址,通过对地址分析和跳转测试,挑选出需要的网址。
③按按照网页爬虫 静态网页<一> , 的,将地址采用挑选出来的网址进行抓取数据。
④可以根据改变链接的参数值,得到动态的数据。
具体的例子后面补上。
抓包工具,链接
当我们按照静态网页扣取数据的时候,会出现部分网页中的加载数据,会显示数据正在加载。。
①这个时候我们可以通过抓包工具,通过抓包工具,在网页跳转的时候会捕获到动态加载数据的地址(记得关闭其他不相关的软件和网页)
②进入到网页后会获取很多的地址地址,通过对地址分析和跳转测试,挑选出需要的网址。
③按按照网页爬虫 静态网页<一> , 的,将地址采用挑选出来的网址进行抓取数据。
④可以根据改变链接的参数值,得到动态的数据。
具体的例子后面补上。